Der Tempel, ursprünglich eine einfache Fassade, die auf halbversunkenen dorischen Säulen ruht und ursprünglich nur als Schutz vor Regen und Sonne diente, wurde von Anfang an zu einem bevorzugten Ort. Er entwickelte sich, ähnlich wie in jedem Garten eine Lieblingslaube existiert, zu einem Platz, der mit den Freuden und Leiden des Hauses verbunden war, sei es der erste Kuss, die stille Verlobung, Abschied oder Wiedersehen.
Im Sommer 1797 wuchs der Tempel zu einem solchen Platz heran. Am 28. Dezember des Vorjahres war Prinz Ludwig, der Bruder und zugleich Schwager von Friedrich Wilhelm III., gestorben. An der bevorzugten Plauderstelle wurde in den Stein geschrieben: „Er ist nicht mehr.“
Die Jahre vergingen, und im Juli 1810 wurde der Sarg der Königin in die Parkgruft zu Charlottenburg gesenkt. In die Tempelwand zu Paretz wurde eine graue Marmortafel eingelassen, die nun die Inschrift „Gedenke der Abgeschiedenen“ trug. Der Tempel entwickelte sich zunehmend zu einer Stätte des Familienkultus. In seiner Front, an der Stelle, wo die verstorbene Königin oft geruht hatte, wurde ein Friedensengel mit Kranz und Palmenzweig errichtet. Der Tempel von Paretz wurde zu einem Treffpunkt und fast zu einem Symbol, das jedem Familienmitglied das Beste bedeutete, was der Mensch hat: Liebe, Treue und Pietät.
König Friedrich Wilhelm III. schrieb in diesem Sinne in seinem Testament: „Meine Zeit in Unruhe, meine Hoffnung in Gott... Wenn dieser mein letzter Wille meinen innigst geliebten Kindern zu Gesicht kommt, bin ich nicht mehr unter ihnen und gehöre zu den Abgeschiedenen. Mögen sie dann bei dem Anblick der ihnen wohlbekannten Inschrift: ‚Gedenke der Abgeschiedenen!‘ auch meiner liebevoll gedenken.“
Und sie gedenken seiner. Der 7. Juni, der Sterbetag des Königs, ist zu einem Gedenktag geworden, und kein Sohn oder Enkel betritt Paretz, ohne an die graue Marmortafel zu treten und freiwillig zu tun, woran ihn die Inschrift mahnt.