Mit dem Bau der neuen Kirche im Jahr 1425 wurde die seelsorgliche Betreuung des Aberseelandes besser. Daher dürfte auch die Errichtung eines Pfarrhofes, des Wohnhauses für den Pfarrer, notwendig geworden sein.
Die Erbauung einer Unterkunft für den Priester war neben der Kirche nicht möglich, da sich dort kein geeigneter Platz befand. Der von der Kirche etwas entfernte Bauplatz am Saubach bot vor allem auch Sicherheit vor Überschwemmungen, von denen der Ort immer wieder heimgesucht wurde.
Der Pfarrhof wurde 1628 neu gebaut und stammt in seinem Hauptteil aus dieser Zeit.
(Quelle: Leopold Ziller, St. Gilgen am Abersee)