Fils d'un professeur de l'École nationale des ponts et chaussées, il passe les sept premières années de sa vie à Safi, au Maroc, puis une grande partie de son enfance dans la maison familiale à Avène, dans l'Hérault. Il a eu deux frères, Marc Galabru, médecin, et un autre, l'aîné, qui écrivait des poèmes, décédé à l'âge de 18 ans de la tuberculose. Se destinant d'abord à devenir joueur de football professionnel, c'est finalement le métier de comédien qui l'attire. Le parcours de Sacha Guitry, piètre élève à l'école, tout comme lui, mais carrière de comédien que l'on connaît, eut une grande influence sur son désir de devenir artiste. « J'ai été mis dehors de sept écoles différentes. Remarquez, Guitry a été viré douze fois. Ça prouve bien qu'il avait plus de talent que moi. » Il écrivit d'ailleurs un livre sur lui, en 2001 : Galabru raconte Sacha Guitry. Un autre artiste eut un impact sur lui, durant sa jeunesse, fut Tino Rossi, au point qu'il se coiffait comme lui.
Requis par le STO, il est envoyé en Yougoslavie.
Après des études au lycée Saint François-Régis de Montpellier puis au lycée jésuite Saint-Louis de Gonzague à Paris 16e, il fit une année de droit, après le bac, pour faire plaisir à son père, qui lui dit : « Fais ton droit, je te ferai entrer chez Schneider au contentieux. Ce mot m'a effrayé. » Mais sa vocation théâtrale étant plus forte que ses futures plaidoiries, il partit pour Paris afin d'y préparer le Conservatoire avec Denis d'Inès. Après trois ans d'études dans la classe de Denis D'Inès, il obtint le premier prix du Conservatoire d'art dramatique de Paris, et fut engagé à la Comédie Française le 1er septembre 1950, fit ses débuts officiels dans "Georges Dandin", et interpréta les différents auteurs classiques et modernes : Shakespeare, Molière, Marivaux, Feydeau, Courteline, Jules Romains. Il y resta jusqu'au 1er septembre 1957. Il travailla également pour le cinéma où il débute en 1951 avec Ma femme, ma vache et moi de Jean-Devaivre. Il est ensuite à l'affiche des théâtres de boulevard et revient au cinéma en 1961 avec La Guerre des boutons d'Yves Robert. À partir de 1964, la saga du
Gendarme de Saint-Tropez le révèle complètement. Il joue ensuite plusieurs rôles dramatiques. Il revient au théâtre avec La Femme du boulanger et Le Bourgeois gentilhomme. Suite au décès de Louis de Funès en 1983, Michel Galabru le remplace dans le film Papy fait de la résistance.
À propos du Gendarme de Saint-Tropez, il affirma dans une interview avoir entendu le producteur déclarer au réalisateur : Tu me prends Louis de Funès, et je ne veux que des ringards autour. Exacte ou imaginée, cette anecdote révèle en tout cas la modestie de l'acteur.
En 1977, il reçoit le César du meilleur acteur pour Le Juge et l'Assassin de Bertrand Tavernier.
En 1985, il achète le Théâtre de 10 heures pour en faire un tremplin pour les jeunes auteurs et comédiens mais ne parvient à l'exploiter que durant quatre années.
En 2008, le Molière 2008 du meilleur comédien a été remis à Michel Galabru, 86 ans, pour son rôle dans Les Chaussettes - opus 124.
En 2010, il est présent au Festival de Luchon pour le téléfilm À deux c'est plus facile, et au Festival de Cannes avec le film Un poison violent.
En 2011, il reçoit le Brigadier d'Honneur pour l'ensemble de sa carrière.