Né John Oliver Cromwell à Los Angeles, en Californie, il a grandi à Manhattan, New York. Il est le fils de l'acteur et réalisateur John Cromwell (1887-1979) et de l'actrice
Kay Johnson (1904-1975). Cromwell a suivi sa scolarité à l'école Hill, au Middlebury College et à l'institut de technologie Carnegie. Il a étudié l'art dramatique à l'Université Carnegie Mellon. Il commence sa carrière sur la scène (comme ses parents), en interprétant des rôles dans les pièces de Shakespeare et dans des pièces expérimentales.
Il a fait ses débuts à la télévision pendant les années 1970, notamment, en interprétant Stretch Cunningham dans la série télévisée All in the Family et un rôle principal dans Hot L Baltimore. Sa première apparition au cinéma a lieu dans l'adaptation de la comédie musicale 1776. Il continue périodiquement à jouer au théâtre.
James Cromwell a pris parti dans de nombreux combats sociaux et politiques aux États-Unis. Dans les années 1960, il est membre de la commission pour la "défense des panthères", un groupe organisé pour défendre les 13 membres du parti Panthères Noires, emprisonnés à New York. Ces treize personnes seront finalement libérées. Dans une interview accordée à la chaîne CNN en 2004, Cromwell loua l'action des Panthères. Il a été, aux côtés de l'acteur
Sean Penn, une des rares célébrités américaines à s'opposer à la guerre en Irak avant même son commencement et les lourdes difficultés rencontrées par l'armée américaine. Il s'est entre autres opposé à Georges W. Bush et
Arnold Schwarzenegger, en soutenant les candidats adverses lors des campagnes de ces derniers. James Cromwell est végétarien, il milite régulièrement contre la cruauté envers les animaux.