Bildurheber: Petzke

Das Schloss Hirschstein ist auf der Spitze einer schroffen Granitbarre 33 m hoch über dem Elbstrom erbaut. Es ähnelt in seiner Bauart der Form eines Schiffes, dessen Bug stromauf gerichtet ist. Das Gemäuer wird überragt von einem viereckigen, mit einer Laterne gekrönten Turm, dem Mast eines Segelschiffes gleichend.
Der Schlossturm ist nicht unterkellert. Die Mauern im Erdgeschoss erreichen eine Stärke von drei Metern.

Im 11. Jahrhundert wurde über viele Jahre hindurch ein weißer Hirsch verfolgt, der sich, um seinen Jägern zu entkommen, in den Abgrund stürzte. Zum Andenken baute man ihm ein Jagdhaus, der Hirschstein genannt. Bereits 1205 wurde es als Burganlage erstmals urkundlich erwähnt.

Das Schloss wurde in den Jahren zwischen 1687 bis 1700 zu einer zweigeschossigen Wohnanlage mit Innenhof und eingestelltem Turm umgebaut. Es erfolgte dabei der Neubau des Nordflügels mit einer doppelläufigen Treppe. Der Turm erhielt Haube und Laterne. Die Schlosskapelle wurde auf die Westseite verlegt. In den Jahren 1893/94 erfolgte ein weiterer Umbau, der vom Dresdener Architekten Ernst Giese ausgeführt wurde. Er gestaltete Schloss und Terrassengarten im Stile der Neorenaissance. Im Nordflügel wurde eine Eingangshalle mit barocken Türen geschaffen. Es erfolgte der Einbau der Kapelle und ihre Ausstattung mit neuem Gestühl, einer hölzernen Kanzel, einer Jehmlich-Orgel, elektrischem Kronleuchter und Dekorationsmalereien.

Über der Eingangshalle wurde ein Porzellansaal geschaffen, der mit Schätzen aus aller Welt ausgestattet war und eine kostbare Porzellansammlung sowie einen kunstvoll aus Meissner Porzellan gefertigten Kamin hatte. Im Obergeschoss wurden eine Bibliothek und ein getäfelter Saal eingerichtet. Die Türen wurden mit Wurzelholzintarsien versehen. Des weiteren wurden in repräsentativen Räumen Kamine eingebaut, die von den Gängen aus beheizbar waren.
1944 bis 1945 diente das Schloss, das aus der Luft gesehen an ein mächtiges Schiff erinnert, als königliches Gefängnis, denn hier erfolgte die Internierung von König Leopold von Belgien mit Familie. Seit 1957 ist das Schloss ein Kindersanatorium.