Serge Rousseau a vécu près de L'Aigle jusqu'à l'âge de dix ans chez ses parents, ouvriers d'usine, et chez ses grands-parents qui exploitaient une petite ferme à quelques kilomètres. Une enfance plus qu'heureuse...
Il arrive à Paris fin 1940. Au lycée Condorcet, son professeur de français lui conseille d'entrer dans la troupe théâtrale du lycée, "Les Mascarilles", dirigée par Jean Catel. Il y rencontre François Billetdoux, René Havard et Hubert de Gex, futur pianiste des Frères Jacques. Très vite, il se prend de passion pour le monde du spectacle et devient un spectateur assidu des salles de théâtre, aussi bien que de cinéma ou de music-hall. Il rate son bac et travaille aux Galeries Lafayette pour gagner sa vie tout en prenant des cours à l'ABC puis au cours Simon, avec Claude Mathieu pour professeur. Il monte un tour de chant, en solo d'abord, et passe dans les cabarets de Pigalle et Montmartre ; puis, en duettiste avec Gérard Barray et ensuite
Jacques Rouland, il écume les cabarets de la rive gauche.
En 1955, il remporte le prix Henry-Berstein, concours réservé aux jeunes comédiens et décerné par un jury prestigieux : André Roussin,
Fernand Ledoux,
Gabrielle Dorziat, Maurice Goudeket...
Peu après, Serge Rousseau reprend le rôle de
Claude Rich dans Espoir, d'Henry Bernstein et commence à vivre correctement de son métier. Il tourne pour le cinéma et la télévision avec, entre autres,
Jean Delannoy, François Truffaut,
Marcel Bluwal, Stellio Lorenzi, Jean Prat et Claude Loursais dans Les Cinq Dernières Minutes.
Au théâtre, il interprète les Parents terribles, de
Cocteau, Farfada, de
Jean-Pierre Aumont, Jeanne d'Arc, de
Bernard Shaw, Histoire de rire, d'
Armand Salacrou, Bleu, blanc, rouge ou les Libertins, de
Roger Planchon, et de nombreuses autres pièces.
En 1960, Serge Rousseau incite son ami Gérard Lebovici à devenir agent artistique. Il se marie avec
Marie Dubois en 1961 et, deux ans plus tard, naît leur fille, Dominique. En 1968, il abandonne le métier de comédien pour devenir agent avec ses amis Gérard Lebovici et Michèle Meritz. Ils fondent l'agence Artmédia où il se spécialise dans la recherche de jeunes acteurs encore inconnus et rassemble autour de lui, entre autres,
Isabelle Adjani,
Fanny Ardant,
Coluche,
Miou-Miou,
Gérard Depardieu,
Patrick Dewaere,
Nathalie Baye,
Sandrine Bonnaire,
Jacques Villeret,
André Dussollier,
Francis Huster,
Patrick Chesnais,
Niels Arestrup,
Jacques Weber, Jean-François Balmer,
Étienne Chicot, François Marthouret.
En 1992, Serge Rousseau quitte Artmédia et rentre chez Cinéart où il termine sa vie professionnelle.