1893/94 errichtete Karl Mühlke (1851 nach 1931) auf dem Gelände des Diakonissenkrankenhauses Bethanien ein Lehrschwesternhaus. Der mit Ziegeln verblendete neoromanische Mauerwerkbau wurde für etwa 20 Anfängerinnen Diakonissenvorschule und Wohnheim. Zu seiner Eröffnung erhielt er den Namen Martha-Maria-Haus. 1910/11 wurde das Gebäude nach Entwürfen von Julius Boethke (18641917) erweitert. Nach der Schließung des Krankenhauses 1970 stand das Gebäude leer und wurde 1971 von Trebegängern und deren Betreuern besetzt. Kurz zuvor (am 04.12.1971) war der Anarchist Georg von Rauch von Polizisten erschossen worden. Die ohnehin zu diesem Zeitpunkt aufgeheizte Szene nutzte den Zeitpunkt, um das G. zu besetzen und gab ihm seinen heutigen Namen. Nach langwierigen und teilweise komplizierten Verhandlungen zwischen den Besetzern und den Behörden kam 1972 eine Nutzungsvereinbarung zustande. Die Legalisierung war vor allem dem damaligen Jugendstadtrat Erwin Beck zu danken. Überregional bekannt wurde das G. auch mit dem "Rauch-Haus-Song" (1972) der Rockgruppe Ton, Steine, Scherben (Rio Reiser).