Der älteste Gebäudeteil (spätestens aus dem 16. Jahrhundert) beherbergt heute den «Zehntensaal» und den darunter liegenden kleineren Saal, die «Trotte». 1679 wird der Bau nach Osten erweitert. 1941 gehen die «Zehntenscheune» und das daneben stehende Wohnhaus «Vogtei» in das Eigentum des Schipfguts über (Hanns von Meyenburg, 1887–1971) und 1969 an die Gemeinde.
Die Zehntenscheune wird von 1972 bis 1974 von den Herrliberger Architekten Ruth (1929–2013) und Edi Lanners (1929–1996) sorgfältig renoviert und restauriert sowie nach Westen erweitert. Jetzt entstehen der Trottenraum u.a. mit Weinbaugeräten aus dem VVH-Bestand, und der Zehntensaal. Seit 1974 finden hier u.a. die Gemeindeversammlungen statt (vorher ab 1959 in der Kirche). Der kunstvoll bearbeitete Eckstein an der südöstlichen Gebäudekante erinnert an die alte Tradition der Grundsteinlegung eines bedeutenden Gebäudes.
Mit der Gesamtrenovation Zehntenscheune (Zehntensaal und Trotte) sowie Wohnhaus Vogtei mit Galerieraum entsteht ein Kulturzentrum, das für Herrliberg unentbehrlich geworden ist und seither überregional bekannt ist. Das Kulturzentrum Vogtei ist heute ein Publikumsmagnet für die ganze Schweiz und steht unter Denkmalschutz.
Der Vorplatz der Zehntenscheune mit den leicht erhöhten Grünflächen (Ackersteinmauern) mit Seesicht sowie der etwas darunterliegende Robinsonspielplatz fügt sich harmonisch in das architektonische Gesamtkonzept ein. Bereits seit dem Umbau der Zehntenscheune resp. des Wohnhauses Vogtei um 1980 stellt der Spielplatz einen zentralen Bestandteil des ganzen Ensembles sowie des Quartiers dar. Bei Events in der Zehntenscheune können Kinder gleich «beaufsichtigt» nebenan spielen, was als wichtiges «nice to have» für Anlässe im Kulturzentrum Vogtei gilt.
Die Mauer entlang des Spielplatztes besteht aus grossen Findlingsteinen, die aus der Gegend stammen und mit eigens aus dem Kärpfgebiet hergebrachten Steinen ergänzt worden sind. Damit wird die glaziologische Verbindung vom auf Herrliberger Boden stehenden grössten Findling Pflugstein (aus dem Kärpfgebiet) zum Glarnerland visuell zum Ausdruck gebracht.
Der Vorplatz Zehntenscheune und Wohnhaus mit Spielplatz ist landschaftsarchitektonisch so umgesetzt, dass die für Herrliberg typische Terrassierung auch im Bereich Kulturzentrum Vogtei zum Ausdruck kommt und sich so (bei Luftaufnahmen gut ersichtlich) harmonisch in das Gesamtbild der Gemeinde Herrliberg einfügt.
2001 erwirkt der VVH den Kauf der Marmorskulptur «3 (Im Trockenen)», 1997, von Jaya Schürch an. Auf dem Platz steht die Holzskulptur «Die Harmonie» von Robert Lienhard (1919–1989), die er für die Landesausstellung «Expo 64» geschaffen hat. Die morsch gewordene Skulptur wird 1991 durch eine wetterfeste Kopie ersetzt. Im Eingang der Zehntenscheune erinnert eine Tafel an den in Herrliberg ansässigen, international renommierten Pianisten Andor Foldes (1913–1992), dessen Steinway-Flügel mit seinem Schriftzug in Bronze aus dem Jahr 1945 durch die Gemeinde 2011 erworben wird. Zudem erinnern Tafeln an das Architektenehepaar Ruth und Edi Lanners.