Wie in alten Chroniken beschrieben, deuten die Flurbezeichnungen «In der Burg» und «Burghalde» auf eine ehemalig Burg hin. Die Burg Rossbach wird 1353 geschleift und das Baumaterial für die erste Kapelle auf dem Kirchenhügel verwendet, die um 1400 entsteht.
Auf Hans Conrad Gygers bekannten Zürcherkarte von 1667 sind auf dem Gebiet Herrliberg zwei Wappen eingezeichnet: Das Wappen mit den drei Doppeljochen (das heutige Gemeindewappen) oberhalb der Schipf und das Wappen mit den zwei Pferdeköpfen am Ort der heutigen Kirche. Die Burg der Meier oberhalb der Schipf wird um 1350 erstmals erwähnt. Um Waren vom See den steilen Hang hinauf zur Alten Landstrasse zu bringen (der Saumpfad entlang dem Ufer war aufgrund der topographischen Verhältnisse nicht nutzbar), war oft ein Sechserzug mit Ochsen oder Kühen notwendig, daher die drei Doppeljoche auf dem Wappen. Beim Warentransport vom Vorderwachtplatz, dem Umschlagplatz bei der Einmündung vom Rossbach in den Zürichsee, hinauf auf die Geländeplattform der Burg (also dem Kirchenhügel) konnten die Waren wohl nur mit Pferden hinauftransportiert werden.
Das Rossbach-Wappen ist sogar noch auf Johann Müllers Karte von 1779 abgebildet.