Il est surtout connu pour son interprétation de Augustus Hill dans le feuilleton télévisé Oz.
Après avoir étudié la musique et l'art dramatique au Shenandoah Conservatory, Harold Perrineau Jr. débute à la télévision: une apparition dans la série Fame, puis dans un épisode du Cosby Show en 1989.
Un an plus tard, il apparaît au générique de deux oeuvres mythiques, The King of New York d'Abel Ferrara au cinéma, et New York District à la télévision. Puis c'est l'aventure "Les ailes du destin". Diffusée sur NBC de 1991 à 1993, cette série humaniste permet au grand public de le découvrir dans le rôle de Robert Evans. Il enchaîne deux ans plus tard avec le film Smoke réalisé par Wayne Wang et écrit par Paul Auster.
1996 est une année charnière pour le comédien puisqu'il apparaît au générique de Blood and Wine aux côtés de Jack Nicholson et Michael Caine, et qu'il déclame Shakespeare en choeur avec Leonardo DiCaprio et Claire Danes dans l'adaptation très moderne de Roméo et Juliette réalisée par Baz Luhrmann.
Perrineau s'arrête aux Urgences en 1997 le temps d'un épisode, puis atterrit en prison la même année pour les besoins de la série Oz. De 1997 à 2003, il y incarnera Augustus Hill.
Puis en 2002 c'est l'envol vers la dimension
Matrix, où il interprètera Link dans les deux derniers volets de la trilogie:
Reloaded et
Revolutions.
Après une apparition dans un épisode de la première saison de Dead Like Me, Harold Perrineau se dirige en 2004 vers une destination inconnue: l'île des survivants de la série Lost, les disparus.
Il a soutenu Barack Obama pendant sa campagne. On le voit notamment apparaître dans les clips de Will.i.am : Yes We Can et It's a New Day (song)
Côté vie privée, il est père de deux petites filles, Aurora née en 1995 et Wynter née en 2008