Im quadratischen Keller des Nordbaus aus dem 13. Jahrhundert, dem ältesten Gebäudeteil des Wohnhauses «Vogtei», ist ein gotisches Fenster erhalten geblieben. Das Haus wird immer wieder erweitert und 1692 zum Herrschaftshaus ausgebaut.
Ende 1918 bis 1923 zieht hier eine Siedlungsgenossenschaft ein, die das Gut nach sozialistischen Grundsätzen bewirtschaftet. Zur „Kommune Vogtei“ gehört 1919–1921 auch der in Zürich geborene und in Männedorf aufgewachsene Schweizer Walter Kölliker (1898–1938), der ab 1923 in Deutschland weilt. Er ist u.a. journalistisch für kommunistische Tageszeitungen tätig. Als Regimegegner des Nationalsozialismus wird Walter Kölliker in das Konzentrationslager Sachsenhausen (nördlich von Berlin) deportiert und am 6. Juni 1938 ermordet. In Zürich wird am 21.6.2021 an der Plattenstrasse 68 im Beisein von Nachfahren ein Stolperstein gesetzt. Angeregt durch den VVH wird am Wohnhaus Vogtei am 27.10.2022 eine zusätzliche Gemeinderundgang-Tafel angebracht , die an Walter Kölliker als Mitglied der Siedlungsgenossenschaft Vogtei und als Opfer des Nationalsozialismus erinnert. Diese Tafel „Tragik eines Pazifisten“ wird am 11.11.2022 mit einer Gedenkfeier eingeweiht.
Mit der Gesamtrenovation Zehntenscheune (Zehntensaal und Trotte) sowie Wohnhaus Vogtei mit Galerieraum entsteht ein Kulturzentrum, das für Herrliberg unentbehrlich geworden ist und seither überregional bekannt ist. Das Kulturzentrum Vogtei ist heute ein Publikumsmagnet für die ganze Schweiz und steht unter Denkmalschutz.
Die Restaurierung des Wohnhauses erfolgt durch Ruth und Edi Lanners und ist 1981 abgeschlossen. Neben Wohnungen entstehen auch Räume für die Öffentlichkeit: Ein Gartensaal, eine Bauernstube, ein Salon im Stil des Rokokos, ein Festsaal mit bemalten Wandtäfern und eine alte Küche.
1974 gründet ein Freundeskreis aus dem VVH die Galerie Vogtei (bis Ende 2018 aktiv) und renoviert 1975 den Raum in Fronarbeit. Das einfallsreiche Architektenehepaar Edi Lanners (1929–1996) und Ruth Lanners Oldani (1929–2013) hat die zündende Idee und steckt befreundete Ehepaare an. Die Renovierung des Kellerraums ist bis zum Dorffest am 21./22. Juni 1975 beendet, denn dann soll die Einweihung der durch das Architekturbüro Edi und Ruth Lanners 1972-1974 restaurierten Zehntenscheune Vogtei gebührend gefeiert werden. Mit der Zehntenscheune und der Galerie erhält Herrliberg ein kulturelles Zentrum. Im Jahr 2025 besteht die Galerie Vogtei (heute Vogtei live!) seit 50 Jahren.
1990 schenkt die Galerie Vogtei der Gemeinde die Skulptur «Scatto» von Robert Lienhard (1919–1989), die im Hofgarten zu sehen ist. Im seeseitigen Riegelanbau besteht seit 1982 eine Webstube, und 1991 richtet der VVH im Dachgeschoss sein Dorfarchiv ein.
Der Vorplatz der Zehntenscheune mit den leicht erhöhten Grünflächen (Ackersteinmauern) mit Seesicht sowie der etwas darunterliegende Robinsonspielplatz fügt sich harmonisch in das architektonische Gesamtkonzept ein. Bereits seit dem Umbau der Zehntenscheune resp. des Wohnhauses Vogtei um 1980 stellt der Spielplatz einen zentralen Bestandteil des ganzen Ensembles sowie des Quartiers dar. Bei Events in der Zehntenscheune können Kinder gleich «beaufsichtigt» nebenan spielen, was als wichtiges «nice to have» für Anlässe im Kulturzentrum Vogtei gilt.
Der Vorplatz Zehntenscheune und Wohnhaus mit Spielplatz ist landschaftsarchitektonisch so umgesetzt, dass die für Herrliberg typische Terrassierung auch im Bereich Kulturzentrum Vogtei zum Ausdruck kommt und sich so (bei Luftaufnahmen gut ersichtlich) harmonisch in das Gesamtbild der Gemeinde Herrliberg einfügt.