Heinrich Kölliker-Syfrig erstellt das heutige Gebäude 1668, als er von Thalwil nach Herrliberg übersiedelt, auf älteren Bauteilen, die ins Jahr 1561 zurückführen. Sein Sohn erbaut das Riegelhaus «Zur Sommerau» an der Pfarrgasse 19, das später erweitert wird. Das alte Zürichseegeschlecht der Kölliker entwickelt sich zu einer für Herrliberg bedeutenden Familie. Sie bekleiden öffentliche Ämter und besitzen viele Grundstücke. An der Alten Dorfstrasse 65 ist noch ein Gebäude mit «Köllikerhus 1762» beschriftet.
Bis 1878 steht in der «Kölliker-Trotte» an der Pfarrgasse 14 eine eichene Baumpresse. Zwischen 1939 und 1959 betreibt Friedy Dürst-Grob eine eigene Kellerei und Weinhandlung. Sie gibt der Pfarrgasse 14 den Namen «Pfarrtrotte». Der seeseitig angebaute Gebäudeteil Pfarrgasse 10 aus dem Jahr 1780 wird 2010 renoviert.