Marcel Mouloudji est le fils d'un Algérien (kabyle), Saïd Mouloudji, né en 1896 dans le village de Leflaye (tribu d'At Waghlis, daïra de Sidi-Aïch), et d'Eugénie Roux, une française originaire de Bretagne, née en 1901. Il est affligé d'un léger strabisme. La famille connaît de gros problème : la mère de Marcel est internée pour désordre mental et son père, analphabète, logé dans une chambre de bonne, a du mal à élever ses fils dont l'aîné est gravement malade et le second, un doux rêveur qui trouve à se loger au hasard des rencontres.
Dans son adolescence, il s'inscrit avec son frère André dans un mouvement de jeunesse de gauche (les jeunesses communistes ou les Faucons rouges, proche de la SFIO, animé par des éducateurs issus de différents courants du monde ouvrier).
En 1935, il fait la connaissance de
Sylvain Itkine, metteur en scène membre du Groupe Octobre, organisation affiliée à la Fédération des théâtres ouvriers de France. Durant cette période, Marcel est aussi hébergé par
Jean-Louis Barrault, qui l'introduit dans le milieu artistique de Paris. Il participe à la vie artistique associée au Front populaire en 1936. En 1938, il figure dans le film
Les Disparus de Saint-Agil de
Christian-Jaque.
Pendant la guerre, il vit dans une semi-clandestinité. Il racontera son expérience en 1945 dans son livre Enrico qui reçoit le prix de la Pléiade.
Après la guerre, il participe à la vie artistique de "Saint-Germain-des-Prés". Dans les cabarets en vogue, il chante
Boris Vian (Le Déserteur) ou
Jacques Prévert, interprète son rôle dans le film Eaux troubles de Henri Calef en 1949 et participe à
Boule de Suif (
Christian-Jaque, 1947) et
Nous sommes tous des assassins (
André Cayatte, 1952). Il obtient un premier grand succès dans la chanson grâce à son interprétation de La Complainte des infidèles, extraite du film
La Maison Bonnadieu de
Carlo Rim (1951). En 1958, il fait sa dernière apparition au cinéma dans Rafles sur la ville de Pierre Chenal et dans un film hispano-suédois, Deux hommes sont arrivés (Llegaron dos hombres).
Jacques Canetti, célèbre agent artistique et patron du cabaret les Trois Baudets entraîne Mouloudji vers le succès. Il lui fait enregistrer Comme un p'tit coquelicot qui obtient le Grand Prix du disque 1953 et le prix Charles-Cros en 1952 et 1953. Même succès, en 1954, avec Un jour tu verras, chanson extraite du film à sketches Secrets d'alcôve (sketch Riviera express de
Ralph Habib).
Louise Fouquet, dite Lola, est son épouse et son agent artistique de 1943 à 1969. Il a deux enfants : Grégory Mouloudji avec Lilia Lejpuner en 1960 et
Annabelle Mouloudji (elle-même interprète de plusieurs chansons dont Fuis Laurence d'Arabie durant les années 80) avec Nicolle Tessier en 1967. Lilianne Patrick est sa dernière compagne.
En 1970, il est sur la scène du Théâtre de la Porte Saint-Martin dans la comédie musicale "La Neige en été", aux côtés de
Nicole Croisille et Régine. En 1976, il enregistre avec l'accordéoniste Marcel Azzola une anthologie du musette, Et ça tournait. En 1980 il sort un album Inconnus Inconnues et donne d'innombrables concerts dans tout le pays, mais les médias s'en font rarement l'écho. Fatigué, il consacre plus de temps à l'écriture et à la peinture, ses anciennes amours. On le retrouve sur scène en 1987 à l'Élysée Montmartre.
Il publie ses souvenirs de jeunesse : Le Petit Invité chez Balland en 1989, La Fleur de l'âge chez Grasset en 1991, puis Le Coquelicot aux éditions de l'Archipel, en 1997.
En 1992, une pleurésie lui enlève en partie sa voix. Cela ne l'empêche pas d'enregistrer un album qui ne verra cependant pas le jour. On l'entend, le 17 novembre 1993, chanter dans la carrière de la Sablière à Chateaubriant (Loire-Atlantique), où avaient été fusillés 27 communistes, dont le jeune Guy Môquet, le 22 octobre 1941.
En mars 1994, il est invité au festival Chorus des Hauts-de-Seine en région parisienne. Puis, il donne un ultime récital près de Nancy en avril.
Il s'éteint le 14 juin 1994, alors qu'il avait encore de nombreux projets : la suite de ses mémoires 50 ans après le premier volume et un nouvel album. Il est enterré au cimetière du Père-Lachaise à Paris.