Né le 31 août 1928 à Laurel, dans le Nebraska, il s'installe très jeune en Californie où son père est ruiné par la crise boursière de 1930 en voulant refaire fortune. Élève du Junior College de Compton puis du City College de Los Angeles, il trouve rapidement sa vocation. Le 11 novembre 1959, il se marie avec Beverly Kelly jusqu'en 1979. Ils eurent deux enfants.
Son interprétation dans la pièce Country girl lui vaut une récompense et lui permet d'obtenir un rôle dans Billy Budd monté à La Jolla Playhouse. James devient un acteur populaire de second plan pendant quelques années.
Sa sophistication virile, sa démarche féline, ses allures de dandy et la dureté ascétique de son visage (doté d'une dentition impressionnante) s'accordent autant au monde viril de John Sturges, Sam Peckinpah, Sergio Leone ou Walter Hill qu'à l'univers comique d'un Blake Edwards.
Il passe allègrement du film d'action à la comédie américaine. De La Grande Évasion de John Sturges à
Charade de Stanley Donen. En 1965, il accède au rang de vedette avec son rôle d'espion de charme, un éphémère rival de James Bond, Flint.
Il tourne dans Les Sept Mercenaires en 1960 et participa à La Grande Évasion en 1963 avec son grand ami Steve McQueen.
Son rôle le plus populaire sera celui du révolutionnaire dynamiteur John Mallory dans le magnifique Il était une fois la révolution de Sergio Leone en 1971.
Il tourne dans le 1er film de Walter Hill : Le Bagarreur en 1975 avec Charles Bronson et incarne de nouveau une figure de cow-boy dandy particulièrement rude dans le superbe La Chevauchée sauvage de Richard Brooks la même année.
Avec son ami Bruce Lee, James Coburn avait écrit La flûte silencieuse, dont le titre est devenu Le Cercle de fer adapté à l'écran par Richard Moore dans lequel ni l'un ni l'autre n'apparaissaient.