G. kam vermutlich 1643 nach Berlin, trat dann 1651 seine erste Pfarrstelle in Mittenwalde an und wurde 1657 Dritter Diakon an der Nikolaikirche. Hier begann seine fruchtbare Zusammenarbeit mit dem Kantor Johann Crüger, die eine Vielzahl von Kirchenliedern erbrachte. G. verweigerte 1666 seine Unterschrift unter das kurfürstliche Toleranzedikt, das die öffentlichen Polemiken zwischen Reformierten und Lutheranern unterbinden sollte, und wurde deshalb 1667 entlassen. Er wohnte zuerst in der Stralauer Straße 38 und später in der Propststraße 7. 1668 ging er als Archidiakon nach Lübben. An das Wirken des bedeutendsten evangelischen Lieddichters nach Luther erinnern Gedenktafeln an der Nikolaikirche und die Benennung von Straßen in Tiergarten und Spandau sowie das Paul-Gerhardt-Stift.