Er arbeitete von 1926 bis 1931 in der Abteilung Fremde Heere im Reichswehrministerium, leitete seit 1940 das Allgemeine Heeresamt im Oberkommando des Heeres im Bendlerblock und war seit 1943 Chef des Wehrersatzamtes beim Oberkommando der Wehrmacht. Der General der Infanterie gehörte zum engeren Kreis der Verschwörer vom 20. Juli. Mit Albrecht Ritter Mertz von Quirnheim arbeitete er die Befehle des Operationsplanes Walküre aus. Nach dem mißlungenen Attentat auf Adolf Hitler wurde er noch in der Nacht des 20. Juli 1944 gemeinsam mit Werner von Haeften, Quirnheim und Claus Graf Schenk von Stauffenberg im Hof des Bendlerblocks erschossen. Sein Ehrengrab und eine Gedenktafel befinden sich auf dem Kirchhof St. Matthäus (Schöneberg). Der Friedrich-Olbricht-Damm in Charlottenburg wurde nach ihm benannt. In der Gedenkstätte Deutscher Widerstand im Bendlerblock wird an O. und seine Mitverschworenen erinnert.