Jean Rochefort grandit à Vincennes. Il a dix-neuf ans quand il entre au Centre d'Art dramatique de la rue Blanche à Paris. Plus tard il rejoint le Conservatoire national. Après son service national en 1953, il travaille avec la Compagnie Grenier Hussenot comme acteur de théâtre durant sept années. Il y est remarqué pour son aisance pour jouer tant le drame que la comédie. Il devient alors un acteur de télévision et de cinéma, et même le réalisateur de plusieurs films.
En 1960 il épouse Alexandra Moscwa, dont il a trois enfants : Marie (1962), Julien (1965) et Guillaume. Il aura par la suite trois autres enfants : Pierre (1981) avec Nicole Garcia puis Louise (1990) et Clémence (1992), avec sa seconde épouse, l'architecte Françoise Vidal.
À la trentaine, au cours du tournage de
Cartouche en 1960, il découvre sa passion des chevaux et de l'équitation. Il est depuis lors devenu éleveur de chevaux et possède maintenant Le Haras de Villequoy.
Son succès dans Cartouche (1961), puis dans Les Tribulations d'un Chinois en Chine (1965), le fait remarquer pour le tournage de plusieurs épisodes de la célèbre série de cinéma, mainte fois rediffusée à la télévision, Angélique marquise des anges (1964-1965).
Au cinéma, il réalise deux courts-métrages documentaires, Rosine en 1973, qui suit les épreuves d'équitation d'une jeune cavalière à Coëtquidan, et T'es fou, Marcel ? - Hommage irrespectueux comme tous les hommages en 1974, portrait du comédien Marcel Dalio.
Sa personnalité le conduit à jouer dans de nombreuses comédies célèbres, dont les diptyques du
Grand Blond avec une chaussure noire (1972-1974) et d'Un éléphant ça trompe énormément (1976-77),
La Grande cuisine (1978). Mais il excelle également dans les rôles dramatiques, grâce auxquels il a obtenu deux Césars.
Il porte également sa voix dans le doublage en français de nombreux films de cinéma ou d'animation. Il a également présenté Les Aventures de Winnie l'ourson dans l'émission Le Disney Channel sur FR3 entre 1985 et 1988.
Sa passion équestre l'a amené à devenir également consultant pour France Télévision, pour qui il a commenté diverses épreuves sportives, dont celles des Jeux olympiques d'été de 2004, ainsi que la cérémonie d'ouverture.
En 2006 il a participé au clip de Vincent Delerm Sous les avalanches. Il s'engage dans le combat des enfants de don Quichotte en faveur des SDF.
En 2007, il joue avec son fils Julien Rochefort dans un téléfilm adapté d'un conte de Maupassant, Hautot père et fils. Il participe également à l'album du groupe français Dionysos La Mécanique du coeur, entonnant, sur le titre « L'homme sans trucages », les paroles : « Vas-y, saute, monte, grimpe à ton coeur, sauve-toi, n'aie pas peur, ouvre grand, mon petit, il est temps d'avaler une énorme bouffée d'air frais, andalucia, anda, anda, andalucia... »
En 2008, il préside la cérémonie des Césars.