Avec le groupe de musique Les Problèmes, Gérard et son groupe lancent le chanteur Antoine au plus haut de la scène musicale yéyé-pré-hippie française. Mais c'est avec le groupe les Charlots qu'ils connaissent de véritables succès musicaux (Paulette, la Reine des Paupiettes, Merci Patron, Sois érotique...) grâce à l'humour parodique et paillard de Gérard.
Sa carrière au cinéma avec les Charlots commence au début des années 1970. Il mènera le groupe jusqu'en 1984 après un nombre impressionnant de comédies qui révolutionneront le style grâce au cocktail humour potache / bonne franquette.
En 1987, il connaît un succès avec la série télévisée, Marc et Sophie dans laquelle il incarne un vétérinaire marié à un médecin de ville, et supportant leurs parents, amis et la concierge de l'immeuble. Il est aussi l'interprète du générique.
Le reste de sa carrière depuis Marc et Sophie est plus discrète, mais bien remplie : il participe régulièrement à des téléfilms, notamment pour les intrigues régionales de France 3.
Parallèlement, Gérard Rinaldi prête régulièrement sa voix pour les doublages de films étrangers. Il est notamment la voix de Dingo depuis 1990, mais on peut aussi l'entendre dans New York Police Blues (dans le rôle de Sipowicz) ou doubler le commandant Sinclair dans Babylon 5, ou encore Tobias Fornell (Joe Spano) dans NCIS : Enquêtes spéciales. Il est également la voix off de plusieurs documentaires.
En octobre 2008, suite au décès de
Michel Modo, Gérard Rinaldi intègre l'équipe de doublage de la série animée Les Simpson.
En 2009, il remonte sur scène avec son ancien complice Jean Sarrus pour chanter les chansons des Charlots lors de la tournée Âge tendre et Têtes de bois.