J. spielte an Wandertheatern und Provinzbühnen, bevor er 1914 ein Engagement in Berlin erhielt. Zunächst am Deutschen Künstlertheater, trat er von 1915 bis 1920 am Deutschen Theater auf. Zwischenzeitlich (1918) wirkte J. auch am Königlichen Schauspielhaus. Als einer der führenden deutschen Charakterdarsteller arbeitete J. auch für den Film, u. a. in den Titelrollen von Der letzte Mann (1924), Tartuffe (1926) und als Professor Unrat in Der blaue Engel. Zwischenzeitlich war er von 1926 bis 1929 in Hollywood und erhielt dort auch für The Last Command einen Oscar. Nach Deutschland zurückgekehrt, war er ab 1938 Vorsitzender des Aufsichtsrates des Filmunternehmens Tobis und ab 1941 Staatsschauspieler. Insbesondere wegen seiner Mitwirkung an dem antibritischen Film Ohm Krüger (1941) erhielt J. nach dem II. Weltkrieg Berufsverbot.