Johan Michael Ludwig Rohrer erbaute 1726 das damalige Hofpfarrhaus im Auftrag der Markgräfin Sibylla Augusta. Zwischen 1738 und 1747 erweiterte Johann Peter Ernst Rohrer das Hofpfarrhaus um je drei Fensterachsen und die Seitenflügel.
Der Lehrorden der Piaristen nutzte es als Kloster und Schulgebäude. 1808 folgte die Verstaatlichung und die Piaristenschule wurde mit dem Lyzeum vereinigt. 1908 erhielt die Schule ihren Namen Ludwig-Wilhelm-Gymnasium.
Im Bibliothekssaal und im Refektorium des ehemaligen Klosters ist die Historische Bibliothek des Ludwig-Wilhelm-Gymnasiums untergebracht. Sie gehört zu den bedeutendsten Sammlungen ihrer Art in ganz Deutschland.
Kinder entdecken Rastatt:
Viele Kinder, die auf dem Lande wohnten, gingen im Barock gar nicht in die Schule. Sie mussten ihren Eltern auf dem Feld helfen oder beim Füttern der Tiere.
Die Höfe gehörten nicht den Bauern, sondern den Besitzern. Von denen hatten die Bauern die Häuser und Felder geliehen. Dafür musste ein Teil der Ernte abgeliefert werden. In Rastatt gab es wohl schon um 1500 eine Schule. Markgräfin Sibylla Augusta führte 1715 den höheren Schulunterricht ein. Dafür wurden Mönche vom Piaristenorden nach Rastatt geholt. Das Erlernen der griechischen und lateinischen Sprache, von Musik, Schreib- und Rechenkunst waren die Schulfächer in der Höheren Schule. Auch ein Theater war vorhanden. Hier lernten die Schüler spielerisch den Umgang mit der Sprache.
Wer viel Geld hatte, konnte seine Kinder von Privatlehrern unterrichten lassen. Die jungen Prinzen in Rastatt erhielten neben den normalen Schulfächern noch Unterricht im Reiten, Fechten und Schießen. Prinzessinnen übten sich in Malerei und Handarbeiten.