Er besuchte bis 1817 das Gymnasium zum Grauen Kloster und erhielt Unterricht bei Carl Friedrich Zelter und Carl Friedrich Rungenhagen (17781851). G. lernte frühzeitig das Orgelspiel und wurde bereits 1817 Organist an der Nikolaikirche. 1822 ging G. als Lehrer an das Institut für Kirchenmusik und übernahm von 1825 bis 1853 auch den Gesangsuntericht am Gymnasium zum Grauen Kloster. Daneben wirkte er von 1829 bis 1844 als Gesangslehrer am Domchor. 1832 wurde er Vizedirektor, 1853 Direktor der Singakademie. Dieses Amt legte er am 13. 6. 1876 nieder. Unter seiner Leitung trat die Singakademie als Chor ohne musikalische Begleitung auf (nackte Vokalmusik). Ab 1841 war G. Mitglied der Akademie der Künste, wo er von 1882 bis 1886 eine akademische Meisterschule für musikalische Komposition leitete. Eine Gedenktafel mit Reliefporträt an der Stelle seines Geburtshauses Poststraße 12 erinnert an ihn. Die Grellstraße (Prenzlauer Berg) trägt seit 1911 seinen Namen. Sein Ehrengrab befindet sich auf dem Friedrichwerderschen Kirchhof (Kreuzberg).