John Saxon est né Carmine Orrico, fils de Antonio et Anna Orrico, à Brooklyn, New York. Il étudie la comédie avec la célèbre actrice et professeur dramatique Stella Adler, et se lance ensuite dans le cinéma au milieu des années 1950, interprétant des rôles d'adolescent. Selon Robert Hofler dans sa biographie de Henry Willson en 2005 "The Man Who Invented Rock Hudson: The Pretty Boys and Dirty Deals of Henry Willson", l'agent Willson aperçut la photo d'Orrico sur la couverture d'un magazine et contacta immédiatement la famille du garçon à Brooklyn. Il emmena le garçon alors âgé de 16 ans à Hollywood, et le baptisa Saxon.
Au début de sa carrière, Saxon travailla avec de prestigieux réalisateurs, dont Vincente Minnelli, Blake Edwards, John Huston, Frank Borzage, et Otto Preminger, mais malgré cela, il ne s'éleva jamais au rang d'acteur majeur. Il apparut tout d'abord dans des seconds rôles, et fut nommé aux Golden Globes pour le meilleur acteur dans un second rôle pour son rôle dans le film Opération dragon, avec Bruce Lee dans le rôle principal. En 1975, il joue dans quelques épisodes de la série culte L'homme qui valait trois milliards, incarnant le personnage du Major Frederick Sloan. Ce personnage et ce rôle seront aussi inclus dans la série Super Jaimie.
John Saxon apparaît aussi dans plusieurs films italiens, principalement dans des westerns spaghetti et des films policier. Plus tard, Saxon se fera connaître dans des seconds rôles de films d'horreur à succès, dans notamment Black Christmas de Bob Clark en 1974, Ténèbres de Dario Argento en 1982, ou encore dans
Les griffes de la nuit de Wes Craven en 1984.