Gegenüber der Bernharduskirche liegt das ehemalige Jagd- und Zeughaus der badischen Residenz. Dort lagerten die Waffen und das Kriegsgerät der markgräflichen Truppe.
Das denkmalgeschützte Gebäude aus dem Jahr 1778 diente anfangs als Ausbildungsstätte für weibliche Waisenkinder, später als Mädchenerziehungsheim. Zwischenzeitlich war das Gebäude Sitz der nach der letzten Baden-Badener Markgräfin benannten Maria-Viktoria-Stiftung. 1971 zogen Dienststellen der Landespolizei ein.
Kinder entdecken Rastatt:
Markgraf Ludwig Georg wurde auch der „Jäger-Louis“ genannt. Jagen war sein größtes Vergnügen. Dazu lud er oft viele Freunde ein.
Für die Jagd, die meist im Park von Schloss Favorite stattfand (das Schloss ist im Rastatter Ortsteil Förch), wurde ein großer Platz mit riesigen Tüchern eingezäunt. Diese Tücher mussten das ganze Jahr aufbewahrt werden und brauchten für die Lagerung viel Platz. Dieser fand sich hier im Jagdzeughaus, wo auch anderes Jagdgerät aufbewahrt wurde.
Den Mäusen und Turmfalken gefiel diese Art der Jagd überhaupt nicht, weil die Tiere kaum eine Chance hatten, zu entkommen. Wenn es doch einmal einem Tier gelang, durch den künstlichen Zaun zu entkommen, dann war es „durch die Lappen gegangen“.