Après trois années d'études de médecine, il devient régisseur de théâtre.
Il habite à Neauphle-le-Château (Yvelines) et a des enfants.
Militant écologiste, il s'est présenté aux élections européennes de juin 2009 en 26e position de la liste Europe Écologie.
Il est féru d'aviation et pilote de planeur. Il a participé à de nombreuses compétitions de planeur.
Avec un physique de pierrot lunaire, il se produit aux côtés de Brigitte Fontaine et Jacques Higelin, puis souvent seul en scène dans des spectacles comiques. Il tient également, depuis 1967, des seconds rôles au café-théâtre dans la bande du Café de la Gare de Coluche et Romain Bouteille.
Il fait ses débuts au cinéma en 1967. En 1973, il joue dans L'Histoire très bonne et très joyeuse de Colinot trousse-chemise, de Nina Companéez. Rufus joue en 1974 aux côtés de Bulle Ogier dans
Mariage, de Claude Lelouch, et devient célèbre en 1975 avec Lily aime-moi, de Maurice Dugowson.
Ses apparitions cinématographiques les plus remarquables sont le voisin dans la cave dans Delicatessen (1991), le soldat musicien dans Le Radeau de la Méduse (1998) d'Iradj Azimi, le juif Mordechai dans Train de vie, le père d'Audrey Tautou dans Le Fabuleux Destin d'Amélie Poulain (2001) et le conseiller du calife dans
Iznogoud (2005).