Построена в 1764—1769 годах мастером французского рококо Филиппом де ла Гепьером по заказу вюртембергского герцога Карла Евгения. В 1773-1775 годы во дворце размещалась «Карлова школа» — военное учебное заведение, где воспитывался юный Фридрих Шиллер. С 1972 по 1983 годы бывшая резиденция Вюртембергского дома была основательно отреставрирована.