Il débute au cinéma en 1913 sous la direction de Max Reinhardt dans Eine venezianische Nacht (La Nuit vénitienne).
Il devient rapidement un acteur connu en jouant aux côtés des grandes actrices allemandes de l'époque.
Il s'essaie dès 1921 à la réalisation en mettant en scène Der Streik der Diebe, qui est un échec commercial.
En 1922, il joue dans trois films importants : Docteur Mabuse, le joueur de
Fritz Lang, Le Fantôme de
Friedrich Wilhelm Murnau et La Flamme d'
Ernst Lubitsch. Il devient alors une des grandes vedettes du cinéma muet allemand.
En 1927, sort
Metropolis de
Fritz Lang, dans lequel Abel incarne le personnage de Fredersen, son rôle le plus célèbre.
Il réalise en 1929 un deuxième film, Narkose, d'après une nouvelle de Stefan Zweig. La même année, il apparaît dans L'Argent de Marcel L'Herbier.
Sa carrière devient déclinante à l'avènement du parlant, bien qu'il joue dans quelques bons films noirs comme Mary d'
Alfred Hitchcock, Stupéfiants de Kurt Gerron ou Viktoria de Carl Hoffmann.
Il poursuit une carrière d'acteur et réalise encore deux films sous le Troisième Reich, avant de mourir d'une longue maladie en 1937.