Nach dem Besuch des Köllnischen Gymnasiums, Breite Straße, und des Berliner Gewerbeinstituts, Klosterstraße 3236, studierte G. ab 1849 an der Bauakademie, wo er 1850 die Bauführer-Prüfung und 1855 die Baumeister-Prüfung ablegte. 1854 wurde er Mitglied des Architekten-Vereins zu Berlin und war von 1855 bis 1856 in der Bauabteilung des Handelsministeriums tätig. Ab 1856 wirkte G. als selbständiger Baumeister sowie bis 1865 als nebenamtlicher Lehrer und ab 1866 als Professor an der Bauakademie. 1866 gründete er gemeinsam mit Heino Schmieden die Architektenfirma Gropius & Schmieden, die sich zu einem der führenden Bauunternehmen in Berlin entwickelte. 1867 gehörte G. zu den Mitbegründern der Unterrichtsanstalt des Kunstgewerbe-Museums und wurde auch deren Leiter. Die Anstalt nahm ihren Sitz in der Stallstraße 7 (heute Universitätsstraße), ab 1873 Leipziger Straße 4, ab 1881 Prinz-Albrecht-Straße (heute Niederkirchnerstraße). 1869 zum Direktor der Königlichen Kunstschule, Klosterstraße 75, und zum Leiter aller preußischen Kunstschulen berufen. Zugleich damit wurde G. zum Mitglied des Senats der Akademie der Künste gewählt. Am 8. 6. 1879 gehörte er zu den Gründungsmitgliedern der Vereinigung Berliner Architekten und wurde am 1880 Mitglied der Akademie des Bauwesens. G. baute mit Schmieden zahlreiche öffentliche Gebäude wie das Krankenhaus im Friedrichshain (18681874), das Kunstgewerbe-Museum (18771881; heute Martin-Gropius-Bau, Kreuzberg), die Kunstschule (18781880), Klosterstraße 75, sowie das Chirurgische Universitäts-Klinikum (18781883, Universitäts-Augenklinik) und die Universitäts-Frauenklinik (18781883), die in ihrer klaren Zweckbestimmung schulbildend wirkten. Zudem stammt von ihnen die Umrahmung des Graefedenkmals. G. wohnte u. a. um 1859 in der Zimmerstraße 84/85 und baute 1868/69 sein eigenes Wohnhaus Am Karlsbad 12/13 und 1870 das Wohnhaus Gropius, Georgenstraße 37. Die Gropiusstraßen in Hohenschönhausen und Wedding tragen seinen Namen. Sein Ehrengrab, eine von ihm selbst entworfene Grabanlage (1868), befindet sich auf dem Dreifaltigkeitsfriedhof II (Kreuzberg).