Nach dem Studium von 1861 bis 1863 an der Bauakademie wirkte er in Berlin als Architekt. 1868 gewann er in einem Wettbewerb des Berliner Architektenvereins mit dem Entwurf für ein "Parlamentshaus für Preußen" den Schinkelpreis. 18711882 war Sch. als Privatarchitekt Chef des Entwicklungsbüros der Berlin-Anhalter Bahn. In dieser Eigenschaft schuf er auch den Anhalter Bahnhof und den Anhalter Güterbahnhof. Er entwarf eine Vielzahl von Zweck-, Industrie- und Kirchenbauten, darunter auf dem Gebiet Friedrichshain-Kreuzbergs die Philharmonie in der Bernburger Straße (Berliner Philharmoniker), die Glasmosaikfabrik Puhl & Wagner, Görlitzer Ufer (1904), die St.-Simeon-Kirche und die Grabkapelle Roesicke auf dem St. Petri-Friedhof. Ab 1902 Professor an der Akademie der Künste, war er von 1915 bis 1918 ihr Präsident. Während seine Industriebauten heute als richtungweisend für diese Art des Bauens gelten, ist die bereitwillige Umsetzung des architektonischen Geschmacks Wilhelms II. bereits von den Zeitgenossen heftig kritisiert worden. Sch. wohnte im Schmidtschen Haus in der Großbeerenstraße (1873), Tempelhofer Ufer 12 (1875) und in der Lützowstraße (heute Mitte). Sein Ehrengrab befindet sich auf dem Dorfkirchhof und Friedhof Alt-Schöneberg. In Tempelhof-Schöneberg ist auch eine Straße nach ihm benannt.