Né à Emporia dans le Kansas, Ermey arriva en 1961 dans le corps des Marines, ce qui mit un terme à une adolescence marquée par la délinquance. Le juge lui avait en effet laissé le choix entre la prison ou l'armée.
Entre 1965 et 1967, il fut instructeur au Marine Corps Recruit Depot San Diego en Californie puis fut envoyé en 1968 au Viet-Nam où il servit durant 14 mois dans le Marine Wing Support Group 17. Il continua son service à Okinawa et obtint le grade de Staff Sergeant avant d'être réformé en 1972 pour des raisons médicales. Ermey affirma souffrir de cauchemars dus aux expériences traumatisantes lors des combats.
Le 17 mai 2002, il reçut le grade de Gunnery Sergeant, par le commandant des Marines, James L. Jones, devenant ainsi le premier retraité du corps des Marines à recevoir un nouveau grade.
Il apparut à l'écran pour la première fois en 1978 alors qu'il était étudiant à l'Université de Manille aux Philippines. Il joua le rôle d'un pilote d'hélicoptère dans
Apocalypse Now et fut consultant pour
Francis Ford Coppola durant ce film. Il joua quelques rôles mineurs jusqu'en 1987 où il rejoint l'équipe de
Stanley Kubrick pour le film
Full Metal Jacket. Ermey devait à l'origine juste être le consultant technique pour Kubrick mais celui-ci changea d'avis en voyant le caractère bien trempé du sergent. Kubrick le laissa même écrire quelques dialogues et improviser les scènes. Le réalisateur dira plus tard qu'Ermey était l'une des personnes avec laquelle il avait eu le plus de plaisir à travailler, ne nécessitant que quelques prises par scène. Ermey reçut un Golden Globe Award en tant que meilleur acteur.
Ermey joua plus tard un rôle similaire dans l'épisode pilote de Space Above and Beyond. Il a depuis joué dans plus de 60 films dont Se7en,
Leaving Las Vegas et prêta sa voix pour la série de films
Toy Story ainsi que plusieurs jeux vidéo (Fallout Tactics, Crash Bandicoot). Il a également fait des apparitions dans des séries télévisées dont Miami Vice ou encore Scrubs où il interprète le père du Janitor et
Dr House ou il incarne le père de Greg House.