Entré à 14 ans au petit séminaire de Conflans à Charenton-le-Pont, il souhaite devenir prêtre et proclame avoir deux passions : « faire rire et m'occuper de Dieu ». C'est le père Van Hamme qui l'oriente alors vers son métier de comédien. Michel Serrault dira plus tard qu'il n'aurait pas aimé le voeu de chasteté.
Dans les années 1950 et 1960, il fait les belles heures des cabarets parisiens en duo avec Jean Poiret, qu'il rencontre en 1952. Il fait alors également partie de la troupe de Branquignols. Il débute au cinéma par un petit rôle dans Les Diaboliques (1955) d'Henri-Georges Clouzot, puis avec les Branquignols dans Ah ! les belles bacchantes. Il participera à leurs nombreux autres films.
Il se lance dans une longue aventure dans le film comique : Assassins et Voleurs (1957) de Sacha Guitry, avec Jean Poiret, Le Viager (1972) de Pierre Tchernia, qui le fera jouer dans plusieurs autres films, où il a pour partenaire Michel Galabru, avec lequel il participera à un grand nombre de films comme Les Gaspards,
Room service. Il tourne aussi avec Louis de Funès, alors encore peu connu : Nous irons à Deauville, Des pissenlits par la racine, Carambolages, ou encore avec Jean Lefebvre et Bernard Blier : Quand passent les faisans (1965), Le Fou du labo 4 (1967), C'est pas parce qu'on a rien à dire qu'il faut fermer sa gueule (1974).
Figure du théâtre de boulevard, avec ses rôles dans des pièces télévisées de Au théâtre ce soir, il triomphe en 1973 dans le rôle de l'excentrique travesti « Zaza Napoli » de La Cage aux folles, qu'il rejouera plus tard avec un succès international dans ses adaptations au cinéma et dont le premier opus lui vaut le César du meilleur acteur en 1979.
Puis arrive L'Ibis rouge (1975) de Jean-Pierre Mocky avec Michel Simon. C'est un grand ami du cinéaste avec lequel il tourne un grand nombre de films dont le plus gros succès reste Le Miraculé (1987) où il joue pour la dernière fois avec son vieil ami Jean Poiret et donne la réplique à Jeanne Moreau qu'il retrouve pour un autre face à face truculent dans
La Vieille qui marchait dans la mer (d'après Frédéric Dard) de Laurent Heynemann en 1991. Il reviendra à la comédie incisive avec
Rien ne va plus (1997) de Claude Chabrol où il forme avec Isabelle Huppert un couple d'arnaqueurs à la petite semaine pris dans les mailles du filet d'un parrain des Antilles interprété par Jean-François Balmer. Serrault a également servi le comique grinçant, absurde et ubuesque de Bertrand Blier en l'espace de trois collaborations: Préparez vos mouchoirs (1978), Buffet froid (1979) et Les Acteurs (2000) : dans ce dernier, comme le reste de la prestigieuse distribution, il interprète son propre rôle.
L'adaptation de la pièce La Cage aux folles au cinéma étant un succès international, il est un des rares acteurs français à pouvoir se permettre de tourner à la fois dans de grosses productions mais aussi des films d'art et essai, souvent moins grand public.
En 1977, il perd sa fille Caroline (alors âgée de 19 ans) dans un accident de la route à Neuilly-sur-Seine. Nita et leur fille cadette ne surmonteront jamais vraiment cette tragédie.
Ce drame familial est parallèle à un changement de cap artistique : c'est désormais dans des rôles dramatiques que l'acteur va exceller, soulevant parfois au passage de vives polémiques comme en 1997 lors de la présentation à Cannes d'Assassin(s) de Mathieu Kassovitz. Après l'obtention d'un deuxième César pour Garde à vue (1981) de Claude Miller, où il campe un notaire cynique et équivoque, soupçonné d'être l'auteur d'un double viol et homicide sur mineures, son dialoguiste Michel Audiard déclare à son sujet : « il est le plus grand acteur du monde ». Ce huis-clos policier où il se confronte à Lino Ventura marque sans conteste un grand tournant dans sa carrière puisque s'ouvre devant lui la porte d'interprétations plus ténébreuses : il apparaît en 1982 au côté de Charles Aznavour en petit commerçant provincial voué aux meurtres de vieilles dames dans Les Fantômes du chapelier de Claude Chabrol (adapté de Georges Simenon) ou devient, dans Mortelle randonnée (1983) de Claude Miller, un père qui croit reconnaître sa fille disparue en la personne d'une jeune meurtrière (interprétée par Isabelle Adjani) qu'il suit et dont il efface les traces laissées sur les scènes de crime.
Il affronte ensuite, paralysé et aphone, sa bru adultère campée par Nathalie Baye dans En toute innocence (1988) d'Alain Jessua et endosse, pour Christian de Chalonge, les oripeaux du criminel de guerre Marcel Petiot dans
Docteur Petiot (1990). C'était par ailleurs ce réalisateur qui avait révélé ses capacités à endosser des rôles ambigüs avec L'Argent des autres en 1978 où il était un inquiétant banquier. En 1995, Nelly et Monsieur Arnaud, le film testament de Claude Sautet, est une autre étape décisive pour Serrault puisqu'il y fait preuve d'une nuance dramatique qu'il avait peu manifestée auparavant. Il y interprète un militaire retraité, désenchanté, solitaire et mélancolique, sollicitant les services d'une jeune femme délaissée (jouée par Emmanuelle Béart) pour rédiger ses mémoires. Sa prestation est unanimement reconnue comme sa composition la plus aboutie. Elle lui permet de remporter un ultime César en 1996. En 1999 dans Le Monde de Marty de Denis Bardiau, il tient le rôle d'un vieillard muet et paralysé, atteint de la maladie d'Alzheimer mais dont la voix commente en off les récits de son amitié naissante avec un jeune garçon souffrant de leucémie.
À la fin de sa vie, l'acteur jouait plutôt des rôles de « pépé » campagnard à la française, bougon, un peu rustre, mais avec un grand coeur, comme dans Les Enfants du marais (1999) de Jean Becker, avec Jacques Villeret et Jacques Gamblin, Une hirondelle a fait le printemps (2001) de Christian Carion,
Le Papillon (2002) de Philippe Muyl, Albert est méchant (2003) ou Les Enfants du pays de Pierre Javaux.
Peu de temps avant sa mort, on a pu le voir aux obsèques de Jean-Claude Brialy, à Paris. Il mettait également la dernière main à un ouvrage dans lequel il souhaitait raconter ses souvenirs, en se retournant sur sa carrière exceptionnelle. Cet ouvrage, qui s'intitule À bientôt, est paru le 12 novembre 2007 chez Oh! Editions. Il envisageait aussi de porter à l'écran la vie de monsieur Pouget, prêtre de Paris que nombre de personnes illustres consultaient pour sa vaste science et ses conseils. Michel Serrault rêvait d'interpréter un jour la vie de ce prêtre qu'il admirait beaucoup.
Il est mort chez lui, à Équemauville, le 29 juillet 2007, à l'âge de 79 ans, des suites d'un cancer, la veille des décès d'Ingmar Bergman et de Michelangelo Antonioni. Le 2 août 2007, de nombreux amis du monde du cinéma et quelques représentants officiels ont assisté à ses obsèques en l'église Sainte-Catherine de Honfleur. Il est inhumé au cimetière Sainte-Catherine de Honfleur, et sa dépouille est transférée en 2009 au cimetière de Neuilly auprès de son épouse et de l'une de ses filles.