Né d'une mère d'origine allemande et d'un père algérien, Mehdi Nebbou part s'installer à Berlin dès l'âge de 18 ans. Quelques années plus tard, il quitte la capitale allemande pour rejoindre Milan où il apprend le métier de menuisier.
En 1994, il retourne à Berlin et intègre l'Académie du Cinéma (Deutsche Film- und Fernsehakademie Berlin) où il étudie la réalisation pendant cinq ans. Alors qu'il aide un autre étudiant pour le casting de son film, ce dernier lui propose de passer des essais et finit par lui donner l'un des rôles principaux. C'est ainsi qu'il fait ses premiers pas en tant qu'acteur de cinéma.
Mehdi Nebbou vit avec sa compagne photographe, Nouma Bordj, depuis 1995. Ensemble, ils ont une fille, Djelia, née en 2008.
Le film My Sweet Home de Filipos Tsitos, qui lui vaut son premier rôle, fut le seul film allemand présenté en compétition au Festival de Berlin en 2001. En 2004, après trois années passées à faire des petits boulots en tant que technicien dans le cinéma puis monteur de films documentaires, Mehdi Nebbou repasse devant la caméra dans le film de Samir Nasr, Présumé Coupable (Seeds of Doubt) qui gagne le Golden Gate Award (prix du meilleur film) au Festival du film de San Francisco. L'année suivante, il est remarqué pour son rôle dans Schläfer de Benjamin Heisenberg, encensé par la critique et dont la première a lieu au Festival de Cannes 2005, en sélection officielle, section « Un certain regard ».
Dès lors, sa carrière en Allemagne prend un tournant considérable et lui ouvre les portes du cinéma international. Steven Spielberg lui propose le rôle de Ali Hassan Salameh (cerveau présumé du Septembre Noir) dans son film
Munich, suivi par Hal Hartley qui le fait jouer aux côtés de Jeff Goldblum dans Fay Grim. En 2006, il obtient son premier rôle dans un film français, celui du gangster Hicham dans Truands de Frédéric Schoendoerffer, aux côtés de Béatrice Dalle, Benoît Magimel et Philippe Caubère. En Allemagne, sa prestation dans le film de Constanze Knoche, Teresas Zimmer lui vaut le prix du meilleur espoir masculin (First Steps Schauspielpreis).
En 2007 et 2008, il enchaîne les rôles en France dans Les Liens du sang de Jacques Maillot aux côtés de Guillaume Canet et François Cluzet, la comédie Ca$h réalisée par Éric Besnard avec Jean Reno, Jean Dujardin et Valeria Golino et Secret Défense de Philippe Haïm avec Gérard Lanvin, Simon Abkarian et Rachida Brakni. Cette même année, il partage l'affiche avec Leonardo DiCaprio et Russell Crowe dans le film de Ridley Scott, Mensonges d'État (Body of Lies).
En 2010 sort le thriller Magma de Pierre Vinour dans lequel il joue un homme souffrant de troubles de la personnalité au côté de Natacha Régnier, Arly Jover et Aurélien Recoing.