Il est le fils de la comédienne
Jacqueline Pierreux et du scénariste Pierre Léaud.
Il est révélé dès son premier film, François Truffaut lui confiant le rôle du héros turbulent dans
Les Quatre Cents Coups, son premier long métrage autobiographique. Truffaut l'a choisi malgré son âge (il a 14 ans pour le rôle d'un enfant de 12) après test filmé avec cent autres candidats. Jean-Pierre s'y révèle stupéfiant de spontanéité et de liberté dans l'improvisation et est choisi. Suite à ce film, il fera sensation au festival de Cannes 1959 et
Jean Cocteau, son président d'honneur, l'engagera aussitôt pour Le Testament d'Orphée.
François Truffaut le réengage à de nombreuses reprises et lui fait endosser de nouveau le rôle d'Antoine Doinel dans Baisers volés (1968), où il tombe amoureux de Christine Darbon alias
Claude Jade, son épouse dans les derniers volets d'Antoine Doinel,
Domicile conjugal (1970) et L'Amour en fuite (1979). Grâce à lui, Jean-Pierre fait la connaissance d'autres ténors du cinéma et devient, à l'instar de
Jean-Paul Belmondo, un acteur fétiche de la Nouvelle Vague. Ainsi
Jean-Luc Godard l'engagera pour des rôles plus ou moins importants dans la plupart de ses films entre 1965 et 1969, il est particulièrement visible dans Masculin, féminin (1966) et
La Chinoise (1967).
Durant cette période il est également assistant réalisateur sur plusieurs films de Truffaut et Godard. Il tournera son premier et unique film en 1974.
Sa carrière trouve son aboutissement avec le film de
Jean Eustache intitulé
La Maman et la Putain, en 1972. En 1985, il tourne en particulier dans Détective, toujours de Godard, en arrière-plan du couple vedette
Johnny Hallyday et
Nathalie Baye, dans un second rôle marquant de privé fouineur. À la même période, il se concentre, dans des compositions assez agitées, sur un cinéma d'auteur exigeant et confidentiel et fait également beaucoup de fictions télévisées.
Malgré quelques seconds rôles intéressants, sa carrière ne reprend réellement un second souffle qu'à partir de 1990. Le Finlandais
Aki Kaurismäki, spécialiste de l'humour distancié et de l'expression minimale, en est le premier artisan en lui offrant un très beau rôle dans J'ai engagé un tueur. Il y joue un homme désespéré qui voit échouer plusieurs tentatives de suicide et paye un spécialiste afin qu'il le supprime, avant de changer d'avis en rencontrant l'amour. Sa distance et sa « non-incarnation » y font merveille, et Jean-Pierre Léaud retrouve après une certaine éclipse de vrais grands rôles, notamment chez
Philippe Garrel, ou grâce à de jeunes cinéastes.
Olivier Assayas fait de lui un père désorienté dont la compagne part avec son fils, dans Paris s'éveille (1991), et
Bertrand Bonello lui offre le rôle d'un réalisateur pornographique désabusé dans Le Pornographe (2001, prix de la Semaine internationale de la critique).