Unweit der Kaiserbuche, bei Schlößl in der Gemeinde Nußdorf zu Füßen des Haunsbergrückens, sind auf einem überaus schroffen Flyschfelsen die spärlichen Überreste der ehemaligen Burg der Edelfreien von Haunsberg zu finden. Bei schönem Wetter bietet sich von hier oben eine traumhafte Aussicht ins Salzachtal, auf die Berge westlich des Hochstaufens, und auf der andern Seite tief hinein ins Oichtental. Bis nach dem 30jährigen Krieg mag das alte Schloß noch eine Funktion besessen haben, bis man schließlich die Burg um etwa 1700 abtrug, um die Steine zum Bau der Kirche St. Pankraz zu verwenden, so daß heute nur mehr spärliche Überreste behauenen und natürlich belassenen Mauerwerks vom Glanze längst vergangener Zeiten künden. Auf dem nämlichen Felssporn, innerhalb der ehemaligen Vorburg gelegen, grüßt die Kirche schon von weitem den Ankömmling, der nichtsahnend und achtlos an ihr vorüberfährt. - Im Jahre 1040 trat das Reich weitläufige Besitzungen zwischen Haunsberg und Buchberg an das Hochstift Passau ab, die von Mattsee aus verwaltet wurden. Die Edelfreien von Haunsberg haben den Namen des Berges angenommen, auf dem sie ihre namengebende Stammburg errichteten, der auf den Namen Hunos, des Hühnen, hindeutet und bis in die Awarenzeit zurückreicht. Als Passauer Vögte auf stetigen Ausbau ihrer Macht bedacht, nehmen die Haunsberger mit Friedrich I., dem ersten bekannten Vetreter seines Geschlechts, einen ungeheuren Aufschwung, als dieser das Burggrafenamt auf der Festung Hohensalzburg übernimmt, und bauen von da an durch geschickte Heiratspolitik expansiv ihre Macht aus. Über vier Generationen hinweg, von etwa 1100 bis 1215, bestimmen nun die Haunsberger in mehreren Familienzweigen die Geschicke des Mattiggaus
und die ihrer zweiten großen Herrschaft im oberösterreichischen Mühlviertel, die bis nach Linz reicht. Der Sage nach endet das Geschlecht auf tragische Weise durch Inzest und Brudermord.

Das dramatische Geschehen hat König Ludwig von Bayern in romantische Worte gefaßt:
Lang in dieses Schlosses Mitte
Hohen Mutes ungeschwächt,
Treu der alten biedern Sitte
War ein ritterlich Geschlecht;
Lebte froh und lebte bieder,
Bis von Habsucht arg gefaßt,
Die zwei letzten, welche Brüder,
Mordbegierig sich gehaßt.

Aus dem Streit geht Gottschalk II. als Sieger hervor. Er ist der letzte Vertreter seines Geschlechtes und starb kinderlos, der Sage nach wegen seiner sträflichen Neigung zur eigenen Schwester. Am 6. Juli 1211 verkaufte Gottschalk die Burg zu St. Pankraz mitsamt den Burgmannen und den ritterlichen Eigenleuten um 100 Pfund an den Salzburger Erzbischof Eberhard II. Jedoch hat sich der Haunsberger das lebenslange Wohn- und Nutzungsrecht und die Bestimmung des Burggrafen ausdrücklich vorbehalten. Bis zu ihrem Abbruch erinnerte die einst zinnen- und wappengekrönte Burgruine Haunsberg an die entschwundene Zeit des einstigen alten Stammsitzes der Haunsberger. Doch das Geschlecht war längst ausgestorben, seine Wappenschilder waren zerbrochen und mit Gottschalk II. war der letzte Haunsberger ins Grab gelegt worden, als die Sage sich bildete, auf welcher fußend zu Weitwörth der liebestrunkene König jene Worte niederschrieb.

​