Né dans une famille de musiciens (d'une mère pianiste et d'un père violoniste), il suit une formation de comédien au cours Simon.
Après une apparition dans Sortilèges de Christian-Jaque en 1945, il débute au cinéma dans Le Point du jour de Louis Daquin. Il commence sur les planches avec la compagnie Renaud-Barrault et au Théâtre de Babylone. Remarqué dans Le Doulos de Jean-Pierre Melville, il est révélé au grand public avec Le Mépris de Jean-Luc Godard au côté de Brigitte Bardot. Dès lors, il tourne avec les plus grands cinéastes français (Jean Renoir, Alain Resnais, Jacques Demy, Agnès Varda, Louis Malle, Jacques Rivette, Michel Deville, Léos Carax) et européens (Luis Buñuel, Constantin Costa-Gavras, Marco Ferreri, Alfred Hitchcock).
Il devient l'acteur fétiche de Claude Sautet, avec Les Choses de la vie, Max et les Ferrailleurs, Mado et Vincent, François, Paul... et les autres et de Luis Buñuel avec qui il entretient une longue complicité. Il collabore à six des films du réalisateur espagnol dont plusieurs oeuvres majeures comme Le journal d'une femme de chambre,
Belle de jour, Le Charme discret de la bourgeoisie. En parallèle, il assoit sa notoriété au début des années 1960, par plusieurs rôles à la télévision (Les Joueurs, Montserrat, Don Juan...).
Il débute la décennie 1980 par le prix d'interprétation au Festival de Cannes en 1980, avec Le Saut dans le vide de Marco Bellocchio, et celui du Festival de Berlin en 1982, avec Une étrange affaire de Pierre Granier-Deferre. Il travaille avec le jeune cinéma français, comme Jacques Doillon (La Fille prodigue en 1985), Leos Carax (
Mauvais sang en 1986), n'hésitant pas à casser son image bienveillante avec des rôles provocateurs ou antipathiques, avant de s'essayer lui-même à la réalisation.
Habitué du Festival de Cannes, il fait partie du jury de la compétition officielle du 60e festival de Cannes en 2007 sous la présidence de Stephen Frears.
Amateur de littérature, il a également enregistré la lecture des Fleurs du mal de Charles Baudelaire et de Gargantua de François Rabelais.
Engagé politiquement à gauche, membre du Mouvement de la Paix (communiste), il s'est souvent illustré par ses prises de position contre le Front national, et s'est mobilisé pour Amnesty international. En mars 2007, il a signé avec 150 intellectuels un texte appelant à voter pour Ségolène Royal, « contre une droite d'arrogance », pour « une gauche d'espérance ». Après avoir soutenu François Mitterrand en 1981, il reste fidèle au camp socialiste.
En mai 2009 il co-signe, avec Juliette Gréco, Maxime Le Forestier et Pierre Arditi une lettre ouverte à l'intention de Martine Aubry, première secrétaire du Parti Socialiste, appelant les parlementaires socialistes à adopter la loi Création et Internet.
Il a été marié avec l'actrice Eléonore Hirt avec laquelle il a une fille, Anne-Cordélia Piccoli, puis pendant onze ans à la chanteuse Juliette Gréco avant de partager la vie de la scénariste Ludivine Clerc. Ils adoptent dans la fin des années 80, deux enfants, une soeur et un frère, Missia et Inord originaire de Pologne.