James Rebhorn étudie les sciences politiques à l'université de Wittenberg à Springfield, Ohio, d'où il sort diplômé en 1970. Il part alors pour New York où il remporte un Master of Fine Arts de comédie de l'université Columbia, puis il rejoint la scène du Metropolitan Theater. Son physique et sa taille (1m 91) lui valent de jouer fréquemment des notables : politicien en 1996 (dans
Independence Day, son rôle le plus connu), médecin en 2004 (Loin du Paradis, Retour à Cold Mountain), avocat en 2009 (L'Enquête). Il a tourné deux fois avec Al Pacino (Le Temps d'un week-end et L'Impasse), ainsi qu'avec Anthony Minghella et Jude Law (
Le Talentueux M. Ripley et Retour à Cold Mountain) et il a aussi croisé la route de Ridley Scott (
Lame de fond), David Fincher (
The Game), Ben Stiller et Robert De Niro (Mon beau-père et moi) et celle de Richard Kelly (
The Box). C'est aussi un habitué des séries télévisées comme New York District / New York Police Judiciaire et Big Lake, dans laquelle il incarne Carl Franklin.