Otto Gebühr fait des études de commerce à Cologne et s'installe en 1896 à Berlin. Il commence alors à fréquenter les scènes de théâtre et obtient un engagement à Görlitz. Il travaille ensuite à Dresde au Théâtre de la Cour, puis au Théâtre de Lessing à Berlin. Il s'engage comme volontaire pendant la Grande guerre, et il est démobilisé en 1917. Il est alors engagé par
Max Reinhardt à Berlin. C'est aussi à cette époque qu'il commence à jouer pour le cinéma muet, ayant été introduit dans ce milieu sur les recommandations de Paul Wegener. On peut retenir son rôle de l'empereur Rodolphe dans Le Golem en 1920.
Grâce à son étonnante ressemblance avec le Grand Frédéric, il jouera de nombreuses fois le rôle du roi de Prusse au cinéma.
Il joue dans plus de 102 films entre 1917 et 1952. Otto Gebühr s'est marié en 1910 avec Cornelia Bertha Julius dont il a une fille, Hilde, qui sera actrice avant-guerre ; et en 1942, il épouse Doris Krüger (1913-1950) qui lui donne un fils, Michael, devenu spécialiste de la préhistoire.