Die Sommerresidenz der Fugger wurde in nur sieben Jahren 1578-85 durch die Augsburger Baumeister Jakob Eschay und Wendel Dietrich errichtet und erinnert mit den vier um einen Innenhof gruppierten Flügel an den Escorial bei Madrid. Der Bau gehört zu den bedeutendsten Renaissance-Schlössern auf deutschem Boden. Einmalig und unbedingt eine Besichtigung wert ist der 360 Quadratmeter große Zedernsaal, der Festsaal des Schlosses. Seinen Namen erhielt er von der Kassettendecke aus Zedernholz, in die Ornamente und Figuren geschnitzt sind.