Seit 1631 besteht für die reformierte Kirchgemeinde ein eigenes Pfarramt. Dazu wird im gleichen Jahr ein stattliches Gebäude mit Walmdach an der Ecke Grütstrasse/Pfarrgasse als Pfarrhaus erworben und erweitert. Gerade für ein Dorf mit verschiedenen Siedlungskernen und Einzelhöfen, wie dies Herrliberg früher ist, stellt das Pfarrhaus einen geistigen Mittelpunkt dar. Im 18. Jahrhundert wird die Scheune neu gebaut und 1846 das Fundament des Hauses erneuert. Das Pfarrhaus, das an bester Aussichtslage steht, wird mehrmals renoviert. Gegenüber dem Hauseingang sind noch das alte Waschhaus sowie ein Brunnen erhalten.
Das Pfarrhaus steht 300 m von der Kirche entfernt an der Pfarrgasse, der ehemaligen Hauptverbindung zwischen Alte Landstrasse (Vogtei) und See. Vom Pfarrhausgarten führt bis 1910 parallel zur Grütstrasse ein fünf Fuss breiter Weg entlang der Geländekante direkt zur Kirche, der nur vom Pfarrer benutzt werden darf. Zudem ist es der Pfarrfrau gestattet, am Anfang des Fusswegs die Wäsche aufzuhängen.
1927 wird eine Herrliberger Männergruppe des CVJM gegründet (1968 aufgelöst), 1960 eine Jugendgruppe. Seit ca. 1980 stellt die reformierte Kirchgemeinde dem CEVI die Pfarrhausscheune («Pfarri») als Treffpunkt zur Verfügung.