Schon im 11. Jahrhundert wurde zum Schutz des Spreeüberganges an der Stelle des heutigen Schlosses eine frühdeutsche Turmburg errichtet. Diese wurde dann zur Burg ausgebaut. Das Geschlecht derer von Sprewenberch (Spremberg) wurde erstmals erwähnt.

Archäologische Untersuchungen belegen, dass der Wassergraben bereits im ausgehenden 14. Jahrhundert das gesamte Schlossareal umgab. Vermutlich um 1570 ließ Kaspar von Minckwitz die gotischen Gewölbe im Erdgeschoss des Hauptgebäudes ausmalen. Während der Regentschaft der Merseburger Herzöge wurde die Burg Ende des 17. Jahrhunderts zum Schloss ausgebaut. Durch die Erweiterung des hinteren Flügels und die Entstehung der beiden Zwischengebäude bildete sich das Schloss zur Vierflügelanlage aus. Mitte des 19. Jahrhunderts erfolgten größere Umbauten zur Unterbringung des preußischen Rentamtes bzw. später des Landratsamtes.
Der hintere Flügel diente als Amtsgericht und wurde im Erdgeschoss mit Gefängniszellen versehen, wovon bis heute noch eine erhalten blieb.

Nach der Auflösung des Kreises Spremberg im Jahre 1993 übernahm der Landkreis Spree-Neiße das Gebäude und entwickelte es zum Kulturschloss für die Bürger des Landkreises und ihrer Gäste.