Das hoch oben auf der Schwarzachterrasse stehende barocke Schlösschen, stammt erst aus der Zeit nach dem 30jährigen Kriege (Parallele zum Unterreichenbacher Schlösschen). Vorher kommt es in keiner Urkunde vor.

Um 1647 muss es erbaut worden sein. Der seit 1634 in Nürnberg wohnende – zu Mitte des 30jährigen Krieges wegen seines evangelischen Glaubens aus Österreich vertriebene – Franz von Schwab, Freiherr auf Lichtenberg, zog etliche Jahre nach Kriegsschluss in dieses Schlösslein, wo er 1671 starb. Er wurde ebenso wie sein 11 Jahre später verstorbener Sohn in der Kirche zu Wendelstein begraben. Dort sehen wir noch sein Totenschild: roter Adler und blauer Löwe. Die Gemahlin jenes Franz von Schwab war eine geborene Gräfin von Mansfeld. Sie übergab 1697 das Schlösslein auf der Sorg Moritz von Gagen. Die Ortseinwohner zehnten aber diesen Schlossbesitzern nicht, sondern den Rietern als Nachfolger der Kurenburger. Später ging das „Herrenhaus“ in den Besitz verschiedener Bauern über, die man deshalb „Schlossbauern“ oder „Herrenbauern“ nannte.

1820 bestand vor dem Schloss noch der Rest eines Barockgartens mit Alleen und Heckenanlagen.
1853 kaufte Johann Michael Scheuerlein , Bauer und Holzhändler, das Anwesen und nutzte es als Bauernhof. Noch heute befindet es sich im Eigentum dieser Familie.
Im Rahmen der jetzt abgeschlossenen Sanierung konnte auch eine wertvolle Stuckdecke restauriert werden.