Après une enfance passée au Liban, Simon Abkarian se rend à Los Angeles et y intègre une compagnie théâtrale arménienne dirigée par Gérald Papazian. De retour à Paris en 1985, il suit des cours à l'école d'acteurs Acting International. Puis il entre au Théâtre du Soleil d'Ariane Mnouchkine et joue, entre autres, dans L'Histoire terrible mais inachevée de Norodom Sihanouk roi du Cambodge d'Hélène Cixous, et dans les pièces du cycle des Atrides, dont Iphigénie à Aulis d'Euripide ou encore Les Euménides d'Eschyle.
La consécration, au théâtre, viendra en 2001 avec Une bête sur la Lune de Richard Kalinoski, dans une mise en scène d'Irina Brook, pièce relatant la vie d'un rescapé du génocide arménien, qui lui vaudra le Molière du meilleur comédien.
Ses premiers rôles au cinéma lui sont proposés par Cédric Klapisch, qui l'engage sur les tournages de
Ce qui me meut (1989), Poisson rouge (1994) et Chacun cherche son chat (1996). Les deux artistes collaboreront à nouveau sur Ni pour, ni contre (bien au contraire) en 2003. En évoquant cette dernière prestation, la réalisatrice Marie-Pascale Osterrieth, qui le dirige en 2004 aux côtés de Michèle Bernier dans Le Démon de midi, dit de lui : « Il incarnait plutôt un salaud tout au long du film, puis à la fin, juste avant d'être tué, dans son dernier regard, on découvrait soudain une humanité, tellement de choses, qu'il en devenait bouleversant » (dossier de presse).
Son regard sombre, sa stature et plus généralement tout son physique lui permettent par ailleurs de jouer les mauvais garçons dans J'irai au paradis car l'enfer est ici (1997), les repris de justice dans Dans tes rêves (2005), les caïds dans Les Mauvais Joueurs (2005) et les méchants dans le James Bond de Martin Campbell, Casino Royale (2006).
Prenant fait et cause pour l'Arménie, Simon Abkarian manifeste son soutien à la culture de ce pays dont il est originaire en s'illustrant en 2002 dans Ararat d'Atom Egoyan et en 2005 dans Aram de Robert Kéchichian. Remarqué par Michel Deville, ce dernier lui offre l'un des rôles principaux d'Un monde presque paisible, une comédie dramatique ayant pour cadre un atelier de confection tenu par des rescapés de l'Holocauste dans l'immédiat après-guerre.
Son charisme lui vaut également d'incarner, tour à tour, Mehdi Ben Barka, le célèbre opposant marocain dans J'ai vu tuer Ben Barka en 2005, puis son farouche ennemi le général Oufkir dans L'Affaire Ben Barka en 2007.
En 2007, il joue le personnage de Dariush Bakhshi, un consul iranien, dans plusieurs épisodes de la saison 6 de la série britannique MI-5 (appelée Spooks en version originale).
En 2009, il incarne Nadir Zenoun, patron de boite de nuit, dans la série produite par Canal+, Pigalle, la nuit. La série, ainsi que son interprétation reçoivent un très bon accueil dans la critique.
La même année paraît L'Armée du crime, film qui retrace le parcours des Francs-tireurs et partisans - Main-d'oeuvre immigrée (FTP-MOI), dans lequel il joue le rôle de leur leader Missak Manouchian.