Die Burganlage wurde Anfang des 13. Jahrhunderts erbaut. 1400 erweiterte man das Gebäude und baute den Hausmannsturm an die nordwestliche Ecke. Der Georgenbau wurde 1533 - 1535 von Herzog Georg. Von 1586 – 1591 wurde der Stallhof gebaut. Auf dem Schlossturm wurde der erste Blitzableiter Dresdens im Jahr 1775 angebracht. In der Nacht vom 13. zum 14. Februar 1945 brannte das Schloss bis auf die Grundmauern nieder dabei nahm das Grüne Gewölbe großen Schaden. Durch die Teilung Deutschlands fehlten Mittel und Wege das Schloss zu restaurieren und deswegen bekam der Hausmannsturm seine Spitze erst im Jahr 1991. Das Schloss wurde nach der Wiedervereinigung endlich wieder aufgebaut. 2006 konnte das historische Grüne Gewölbe wiedereröffnet werden.