Né à Paris d'un père alsacien originaire de Heimsbrunn et d'une mère lorraine native de Bitche, il part très jeune pour
Marseille pour fuir l'éducation religieuse que sa famille voulait l'obliger à entreprendre. Il intègre la section rugby à XV de l'Olympique de Marseille et entame des études d'hydrographie, puis se dirige vers le théâtre. S'étant vu refusé au Conservatoire d'art dramatique de Paris, il suit des cours privés. Sa carrière théâtrale démarre avant la Première Guerre mondiale.
Il épouse en 1910 l'actrice Rose Cremer, connue sous le nom de Rose Grane, avec laquelle il a trois enfants. Elle décèdera lors d'un voyage en Algérie. Il se remarie plus tard avec Rika Radifé, elle-même actrice de théâtre.
De tous les grands acteurs dramatiques du cinéma français d'avant la Seconde Guerre mondiale, Harry Baur est sans doute celui dont on se souvient le moins. Sa carrière décolle avec la rencontre de
Julien Duvivier en 1930. Il tourne 30 films en 12 ans. Il est notamment l'un des interprètes marquants de Jean Valjean dans la version des Misérables signée Raymond Bernard, où il fait face à
Charles Vanel, alias Javert, et un Beethoven saisissant dans le film d'
Abel Gance,
Un grand amour de Beethoven. Il est à une certaine époque le rival de
Raimu.
Faussement dénoncé comme juif, il est arrêté par la Gestapo en 1942. Ses tortionnaires ayant finalement conclu qu'il ne l'était pas, il est libéré quatre mois plus tard, ne pesant plus qu'une quarantaine de kilos (il en pesait auparavant une centaine). Il ne se remettra jamais des tortures subies lors de son emprisonnement. Il repose au cimetière Saint-Vincent à
Montmartre, où sa tombe est encore parfois fleurie.