Eigentümer der Rosenburg waren die Edeln von Bernang, die Behems oder Böhm, das Stift St. Gallen, das Rittergeschlecht von Rosenberg und die Muntprat.  Von 1518 bis 1798 hausten rund zwei Dutzend Obervögte der regierenden eidgenössischen Orte und der Fürstabtei St. Gallen auf der Rosenburg. Unter der Leitung von Dr. med. Johann Jakob Ritz, Arzt, kauften 19 Bernecker Bürger im Jahr 1811 das Schloss Rosenburg. Die verhassten Schlossgebäude wurden dann unverzüglich zum Abbruch verkauft. 1817 übernahm der gleichnamige Sohn die prächtige Aussichtskanzel am Rosenberg. Der geschätzte Arzt, Schreiber und Ammann liess auf dem Gartenhaus das zierliche Glockentürmchen erbauen, das er auch mit einem Uhrwerk ausstattete. Auch heute ist wieder der Glockenschlag zu hören. 1836 pflanzte er die heute unter Schutz stehende Silberpappel. Von der Familie Ritz wechselte das Schlössli Rosenberg, wie nun das ehemalige Gartenhaus genannt wurde, an den Dorfarzt Dr. med. Julius Custer. Die Erben seiner Töchter veräusserten dann das Schlössli im Jahr 2000 an Peter Schmid, Weingut am Rosenberg, Berneck.