Nach dem Studium der Rechte war A. an rheinischen Gerichten und ab 1871 in Straßburg tätig, wo er an der Gründung der dortigen Universität mitwirkte, bis er 1882 dem Ruf in das Preußische Kultusministerium nach Berlin als Universitätsdezernent folgte. In diesem Amt ab 1897 als Ministerialdirektor betrieb er den Ausbau des Hochschulwesens zu einer zentral gelenkten Einrichtung in Preußen und nahm so auch Einfluß auf die Kulturpolitik des gesamten Reiches. Er setzte 1899 die Gleichstellung der Technischen Hochschulen, 1900 die der drei höheren Schularten, 1908 das Frauenstudium und neue Wege der privaten Finanzierung wissenschaftlicher Forschung durch, die nach seinem Tod u. a. zu Gründung der Kaiser-Wilhelm-Gesellschaft führte. 1900 wurde er zum Mitglied der Akademie der Wissenschaften gewählt. Das von A. geschaffene enge persönliche Beziehungsgeflecht u. a. zwischen Ministerien, Parteien und der Wirtschaft wurde von Kritikern als System Althoff bezeichnet. Die Stadt Berlin errichtete ihm nach seinem Tode ein Ehrengrab im Botanischen Garten Dahlem, den er auf dem Gebiet der ehemaligen Domäne begründet hatte. Auf dem Gelände der Charité befindet sich eine Porträt-Büste. Die Althoffstraße und der Althoffplatz (Steglitz) tragen seinen Namen.