Nach der Lehre als Schlosser und Maurer arbeitete er von 1864 bis 1866 als Zeichner in der Hochbauabteilung des Berliner Magistrats. 1867 beginnt seine Freundschaft mit dem Architekten Karl von Großheim. Nach der Baumeisterprüfung arbeitete K. wie von Großheim bis 1870 beim Architekten August Orth. Von 1870 bis 1872 als Innenarchitekt Mitinhaber der Fa. Schultze & Co. in Berlin, gründete er 1872 mit von Großheim die Fa. Kayser & v. Großheim. 1879 war er Gründungsmitglied des Verbandes der Architekten und seit 1883 Mitglied der Akademie der Künste sowie seit 1897 der Bauakademie. Die Fa. Kayser & Großheim gehörte zu den führenden Berliner Architekturbüros nach der Gründung des Deutschen Reiches im Jahre 1871. Sie errichtete viele Geschäfts- und Warenhäuser in Berlin. So entstanden nach ihren Plänen u. a. der Glaspalast im Landesausstellungspark, die Kaufhäuser Königstadt, Jordan (Markgrafenstraße), Wertheim (Alexanderplatz) und die Gaststätte Münchner Augustinerbräu (alle nicht mehr vorhanden). Sie entwarfen auch die Gebäude des Clubs von Berlin und der Nordstern-Versicherung ( Deutsche Bank), Spindlershof, das Pschorrbräuhaus, das Geschäftshaus Oberwallstraße 9, das Haus Rosenstraße 1619 und das Wohn- und Geschäftshaus Jägerstraße 9 ( Bundesministerium für Familie, Senioren, Frauen und Jugend). Von den in Tiergarten nach ihren Plänen errichteten zahlreichen Villen und Wohnhäusern ist kaum noch eines erhalten. So erbauten sie 1891 das Wohnhaus Kayser in der Hildebrandstraße 14, 1906/07 das Atelier Kayser & v. Großheim in der Hildebrandstraße 25, das Wohnhaus Rauchstraße 21 (später Päpstliche Nuntiatur) und weitere Häuser u. a. in der Bellevuestraße, der Matthäikirchstraße (heute Herbert-von-Karajan-Straße) sowie der Tiergartenstraße (alle nicht mehr vorhanden). In den Neubau der Gemäldegalerie einbezogen wurde die Villa Parey, die ebenso von der Fa. Kayser & v. Großheim stammt wie der Umbau des Hauses Hildebrandstraße 5 (später Botschaft Estlands).