Der gelernte Zimmermann arbeitete 1860/61 zunächst als Zeichner und nach dem Studium an der Bauakademie als Bauführer bei Hermann von Hude (1830–1908) in Berlin. Nach einem erneuten Studium an der Bauakademie und der Baumeisterprüfung begann seine Zusammenarbeit mit Heinrich Kayser. Von 1867 bis 1870 war er wie dieser beim Architekten August Orth tätig und gründete 1872 mit Kayser die Fa. Kayser & v. Großheim. G. war 1879 Gründungsmitglied der Vereinigung Berliner Architekten. 1880 wurde er Mitglied der Akademie der Künste und 1910/11 deren Präsident. Die Fa. Kayser & v. Großheim gehörte zu den führenden Berliner Architekturbüros nach der Gründung des Deutschen Reiches. Sie errichteten viele Geschäfts- und Warenhäuser in Berlin. So entstanden nach ihren Plänen u. a. der Glaspalast im Landesausstellungspark, die Kaufhäuser Königstadt, Jordan (Markgrafenstraße), Wertheim (Alexanderplatz) und die Gaststätte Münchner Augustinerbräu (alle nicht mehr vorhanden). Sie entwarfen auch die Gebäude des Clubs von Berlin und der Nordstern-Versicherung ( Deutsche Bank), Spindlershof, das Pschorrbräuhaus, das Geschäftshaus Oberwallstraße 9, das Haus Rosenstraße 16–19 und das Wohn- und Geschäftshaus Jägerstraße 9 ( Bundesministerium für Familie, Senioren, Frauen und Jugend). Von den in Tiergarten nach ihren Plänen errichteten zahlreichen Villen und Wohnhäusern ist kaum noch eines erhalten ist. So erbauten sie 1891 das Wohnhaus Kayser in der Hildebrandstraße 14, 1906/07 das Atelier Kayser & v. Großheim in der Hildebrandstraße 25, das Wohnhaus Rauchstraße 21 (später Päpstliche Nuntiatur) und weitere Häuser u. a. in der Bellevuestraße, der Matthäikirchstraße (heute Herbert-von-Karajan-Straße) sowie der Tiergartenstraße (alle nicht mehr vorhanden). In den Neubau der Gemäldegalerie einbezogen wurde die Villa Parey, die ebenso von Kayser & v. Großheim stammt, wie der Umbau des Hauses Hildebrandstraße 5 (später Botschaft Estlands). G. wohnte 1905 in der Hildebrandstraße 19.
Bauakademie 