Nach den alten Auszeichnungen war die Festung von Schwadorf von Ringmauern und Wassergräben umgeben. Der Stich von Mathäus Vischer aus dem Jahre 1672 zeigt das Schloss als wehrhafte Burg.

Über die Entstehung der Burg ist nichts bekannt, doch dürfte sie aus dem 13. Jhdt. stammen. Die Herrschaft Schwadorf und somit das Schloss gehörte jahrhundertelang zum Bistum Passau (Bayern) das jeweils durch einen Lehensträger vertreten war. Erst 1804 ging die Verwaltung an die Staatsherrschaft. 1823 hat Ritter Fellner von Feldegg die Herrschaft erstanden. 1879 war Ritter Riedl von Riedenau bis 1909 Besitzer. 1938 wurde das Gut Schwadorf von der "deutschen Ansiedlungsgesellschaft" okkupiert und nach 1945 der Familie Dr. Arnold Segal, der das Schloss 1926 erwarb, zurückgegeben. Später nach dem Krieg kaufte Franz Paul das Schloss, sowie den gesamten landwirtschaflichen Besitz, darunter auch den Schwadorfer Wald. Nur die um das Schloss befindlichen Parkanlagen, der Schlossteich und die alten wunderschönen Platanen erinnern noch an das einstige Rittergut. Das Schloss befindet sich heute im Besitz von Herrn Dipl.-Ing. Richard Auer-Welsbach.