So wurde 1530 das bollwerkartige vordere Tor erbaut, 1572 wurde der größte Teil im Renaissance-Stil umgebaut, 1584 wurde unter Hugo II. die Kapelle geschaffen. 
Im 19. Jhd. ließ Fürst Friedrich Alfred das Schloss neogotisch umgestalten, genauer nach dem sogenannten "Tudorstil", einem englischen Vorbild. 
Nach dem 1. Weltkrieg ließ Fürst Aloys einen Teil davon wieder zurücknehmen und die Räume im Obergeschoß nach altem Vorbild restaurieren. 

Am 17. April 1945 jedoch rollten die ersten amerikanischen Panzer in Hartenstein ein und man musste, um nicht beschossen zu werden, die weiße Flagge hissen. Am 20. April allerdings wurde das Gebäude von deutschen Truppen umstellt, die noch einige Nachbarorte hielten. Ein Offizier der Waffen-SS befahl: "Ihr Verräter, die Flagge muss weg!" und sperrte alle im Brauereikeller ein. Fürstin Agathe kam die Treppe herunter und beteuerte dem SS-Offizier, dass sie dies aufgrund ihrer Höhenangst nicht tun könne, also holten Soldaten der Wehrmacht die Flagge vom Turm. 
Sofort kreisten Tiefflieger um das Schloss und gegen 13.15 Uhr stand der Turm in Flammen, wenige Minuten später das ganze Schloss. Mit aller Kraft versuchten die Schlossbewohner, das Personal und sogar die Kriegsgefangenen das Feuer zu 
löschen - vergeblich.Tote gab es glücklicherweise nicht, obwohl das ganze Schloss mit Flüchtlingen vollgestopft war. 
Am Morgen des 21. Aprils war nur noch ein rauchender Trümmerhaufen des geschichtsträchtigen Schlosses übrig. 
Später (bis 1970) wurde die Ruine als Freilichtbühne genutzt, eine Tradition, an die wir gerne anknüpfen würden.