1695 begann Johann Arnold Nering mit dem Bau unter Verwendung eines Entwurfes von Nicolas Francois Blondel (1617–1686). Da Nering kurz nach Grundsteinlegung starb, übernahm Martin Grünberg die Bauleitung. Nach dessen Rücktritt fungierte 1698/99 als Nachfolger Andreas Schlüter, der bereits seit 1696 mit Bildhauerarbeiten am Z. beschäftigt war und 22 Köpfe sterbender Krieger für den Innenhof schuf. Wegen des Einsturzes der zu schweren Attika übertrug man die Baudirektion an Jean de Bodt (1670–1745), der 1706 das Haus äußerlich fertigstellte. Der Innenausbau konnte erst 1729, nach dem Einbau von Treppen, beendet werden. Der größte erhaltene Barockbau Berlins weist einen quadratischen Grundriß mit vier fast gleichen Fronten auf. Nur an der Linden-Fassade befinden sich ein Säulenportal und ein vergoldetes Brustbild des Bauherrn Friedrich I. von Guillaume Hulot. 1817–1821 nahm Karl Friedrich Schinkel eine Restaurierung vor. Zugleich begann der Aufbau eines Militärmuseums. 1844 fand im Z. die 1. deutsche Gewerbeausstellung statt. 1848 stürmten Revolutionskämpfer das Z. und erbeuteten die bis dahin geheim gehaltenen Zündnadelgewehre. 1877–1881 baute Friedrich Hitzig das Z. zum Militärmuseum um. Der Innenhof wurde glasüberdacht, eine Ruhmeshalle eingerichtet, eine Freitreppe und Skulpturen von Reinhold Begas hinzugefügt. 1920 wurde mit dem Aufbau eines Waffenmuseums (einschließlich Turnier- und Jagdwaffen) begonnen. 1935 wurde das Z. zum Heeresmuseum der Wehrmacht und zeigte während des II. Weltkrieges Beutewaffen und militärische Propagandaausstellungen. Ab Juni 1943 wurden die Museumsbestände ausgelagert. Insbesondere der Luftangriff vom 3. 2. 1945 hinterließ bedeutende Schäden am Gebäude. Als erstes nach dem II. Weltkrieg öffnete hier am 24. 1. 1946 die Industrie- und Gewerbeausstellung „Berlin baut auf“, es folgte am 19. 5. 1946 die I. Deutsche Kunstausstellung. 1948 begann man die Kriegsschäden zu beseitigen. 1952 wurde Otto Haesler (1880–1962) mit der Restaurierung und Neugestaltung des Z. betraut. Richard Horn restaurierte bzw. kopierte die Skulpturen. Ständiger Nutzer wurde das 1952 gegründete und 1990 liquidierte Museum für Deutsche Geschichte. Darauf übernahm das 1987 gegründete Deutsche Historische Museum das Gebäude. Ferner nutzen das Z. eine Bibliothek, ein Kino (beide zum Museum gehörig) und eine Gaststätte. Im Sommer 1999 begannen umfangreiche Umbau- und Sanierungsmaßnahmen im Z. Nach deren Abschluß soll dann ein Erweiterungsbau für Wechselausstellungen übergeben werden. Das im Sommer 1998 begonnene Bauwerk entsteht auf einer etwa dreieckigen Grundstücksfläche von 2 000 mē nach Plänen von Ieoh Ming Pei (* 1917) mit einem ober- und einem unterirdischen Verbindungsgang zum Z. Das Z. steht unter Denkmalschutz.
1695 begann Johann Arnold 
Nering 