Jean-Pierre Marielle est né à Dijon d'un père industriel et d'une mère couturière. Ses premières expériences d'acteur remontent au lycée où il monte quelques pièces de Tchekhov avec ses camarades. Il voulait initialement étudier la littérature mais l'un de ses professeurs l'encourage plutôt à devenir acteur. Reçu au Conservatoire national, il s'y lie d'amitié avec Jean-Paul Belmondo et Jean Rochefort et en sort avec le second prix de comédie en 1954.
D'abord voué aux seconds rôles (notamment dans Faites sauter la banque ou Le Diable par la queue) il s'est imposé comme un acteur de premier plan et compte dans sa filmographie un nombre important de classiques, parmi lesquels Les Galettes de Pont-Aven, Que la Fête Commence, La Valise, Coup de Torchon, Uranus, Tous les Matins du monde ou plus récemment Les Âmes grises. Alternant films grand public et films d'auteurs, il est devenu une référence dans le cinéma français.
Il est nommé Chevalier de la Légion d'honneur en 1992 et est promu Officier en avril 2007.
Il est marié à l'actrice Agathe Natanson depuis le 4 octobre 2003 et a un fils d'une union précédente.
C'est un grand amateur de jazz et de New York.
Ses débuts consistèrent en quelques rôles sur les planches avec la compagnie Grenier-Hussenot, notamment dans des pièces de
Pinter, et quelques petites apparitions sur grand écran à la fin des années 50, avec sa voix particulière lui donnant les moyens de jouer des personnages plus âgés. Mais, déçu par ses premiers rôles au cinéma, il se tourna un moment vers le cabaret.
Il a obtenu des rôles un peu plus consistants dans les années 60, dans des films tels que
Faites sauter la banque (1963), jouant aux côtés de Louis de Funès, Week-end à Zuydcoote (1964) et surtout Un monsieur de compagnie (1965), où le réalisateur Philippe de Broca lui donna l'occasion d'exprimer tout son talent. Mais sa popularité explosa vraiment au cours des années 70 où il apparut dans beaucoup de comédies. Dans La Valise (1974), il incarna un espion israélien devant se cacher dans une malle afin d'être exfiltré d'un pays du Moyen-Orient. Les Galettes de Pont-Aven (1975), Que la fête commence (1974), Coup de torchon (1981) et Un moment d'égarement (1977) lui apportèrent le statut de grand acteur.
Surtout connu pour ses rôles comiques, il a néanmoins marqué sa carrière de quelques rôles sombres et tragiques, notamment celui d'un flic désabusé et suicidaire dans Les mois d'avril sont meurtriers (1987), ou le rôle de Monsieur de Sainte-Colombe dans Tous les matins du monde (1992).
En 1995, il livre une performance hilarante aux côtés de ses deux amis Jean Rochefort et Philippe Noiret dans la comédie Les Grands Ducs, où il interprète un acteur « has-been » râleur et dézingué.
En 1999, il joue son propre rôle dans le film Les Acteurs de Bertrand Blier.
En 2005, on le retrouve aux côtés de Jacques Villeret et Denis Podalydès dans Les Âmes grises où il interprète un procureur mystérieux et austère mêlé à deux meurtres ...
En 2007, il joue le rôle d'un homme voulant éternellement rester jeune et ne pensant qu'à faire le beau auprès de femmes bien plus jeunes que lui dans Faut que ça danse !, ce qui lui vaudra une nomination pour le César du meilleur acteur.
Il a également effectué une brillante carrière sur les planches et a reçu un Molière du meilleur comédien en 1994.
Il fait partie de ces grands acteurs à avoir de nombreuses fois été proposés pour les César (7 fois au total) sans en remporter la palme, mais il avoue s'en moquer éperdument et a même déclaré qu'il n'était pas un acteur de « tombola ».
Il est considéré aujourd'hui comme l'un des derniers monstres sacrés du cinéma français.