Nach den Stationen Karlsruhe und München kam er 1925 nach Berlin, um sein Architekturstudium fortzusetzen. In der Folge arbeitete er für den Architekten Heinrich Tessenow und als selbständiger Architekt. 1936 wurde er von Adolf Hitler als „Führerarchitekt“ ausgewählt und 1937 zum „Generalinspektor für die Reichshauptstadt“ ernannt. Seine Behörde erhielt ihren Sitz im Gebäude der Akademie der Künste am Pariser Platz 4. Nach seinem monumentalen Plan für die Neugestaltung der Reichshauptstadt sollten bis 1950 ca. 54 000 Wohnungen abgerissen werden. Wegen des II. Weltkrieges konnten die Baumaßnahmen nicht weitergeführt werden und es blieb bei den ersten Bauten u. a. im Tiergartenviertel (Diplomatenviertel) und der Neugestaltung des Großen Sterns mit der Umsetzung der Siegessäule. S. entwarf die Neue Reichskanzlei und gestaltete 1935 den Bauteil II der Reichskanzlei um. Von 1942 bis 1945 wirkte S. als Reichsminister für Rüstung und Kriegsproduktion. Im Nürnberger Kriegsverbrecherprozeß wurde er zu 20 Jahren Haft verurteilt.
Tessenow 