Il apprend son métier au cours Simon, à la même époque que
Jacqueline Maillan, et obtient un premier prix du Conservatoire national supérieur d'art dramatique en 1949.
Jean Vilar le recrute au Théâtre national populaire. Il donne la réplique à Gérard Philipe au Théâtre des Champs-Élysées en 1952 (Le Prince de Hombourg de Heinrich von Kleist).
Jean Le Poulain est en premier lieu un acteur de théâtre, mais il fait également de nombreuses apparitions au cinéma et à la télévision.
Entré à la Comédie-Française en 1978, il en devient sociétaire à partir de 1979, puis administrateur général de 1986 jusqu'à sa mort.
Il a marqué de son empreinte l'émission télévisée Au théâtre ce soir. Personne n'aura oublié des pièces célèbres comme Le Noir te va si bien, De doux dingues, Le Minotaure, où il fut soit acteur, soit metteur en scène ou les deux à la fois.