Sa date de naissance officielle est le 6 juillet 1929 (1929-07-06) (81 ans), mais il est né en 1933 : « Son père a quitté l'Ukraine après la révolution de 1919 et devient taxi pour de riches touristes russes sur la Côte d'Azur. En 1940, par peur des persécutions contre les juifs, il veut faire partir son fils pour l'Algérie chez un ami d'Europe de l'Est, installé près d'Oran. Le petit est précoce (à 7 ans, il mesure 1,55 mètre), mais trop jeune pour prendre le bateau seul. Son père demande à un employé de la mairie, qu'il connaît bien, de le vieillir. Le 1933 devient 1929. Aujourd'hui, Jean-Pierre tente de faire rectifier son état civil. »
Lorsqu'il est collégien Jean-Pierre Mocky va au collège municipal de Grasse. L'été il travaille comme plagiste à l'Hôtel Carlton Cannes. À l'époque, ses parents sont gardiens d'une propriété.
Il débute en tant qu'acteur que ce soit au cinéma ou au théâtre. Au cinéma, on a pu le voir dans Les Casse-pieds, Orphée ou Le Gorille vous salue bien et bien d'autres encore. Mais il décide de se lancer dans la réalisation.
En 1958, il signe l'adaptation du roman d'Hervé Bazin, La Tête contre les murs et veut le mettre en scène. Mais les producteurs effrayés par la jeunesse du jeune homme, l'obligent à confier la réalisation à un cinéaste plus âgé, ce sera Georges Franju. Mocky interprètera le rôle principal du film.
Mocky prendra sa revanche l'année suivante en réalisant son premier film, Les Dragueurs, qui connaîtra un succès. Depuis, le réalisateur a imposé sa verve comme marque de fabrique en tournant des films provocateurs.
En 1968, Henri Langlois et Bernard Martinand lui consacrent une rétrospective en sa présence à la Cinémathèque française: il y présente une copie complète de La Cité de l'indicible peur qui ressortira plus tard en salles. La même année, il revient au cinéma en tant que comédien dans son film Solo, aucun comédien ne voulant interpréter le rôle. Il avait abandonné l'interprétation en 1959. Dès lors, il jouera à nouveau et presque exclusivement dans ses films. En 1970, il annonce qu'il sera l'interprète principal du premier film de son ami critique de cinéma Michel Mardore, Le Sauveur. Finalement, il laisse le rôle à Horst Buchholz mais aide le cinéaste à monter son film. Plus tard, il apparait dans les films de Robert Lapoujade, Jean Dewever ou Jean-Luc Godard.
De 1963 à 1987, il signera de grands films comme Un drôle de paroissien (avec Bourvil qu'il refera tourner dans La Cité de l'indicible peur, La Grande Lessive et L'Étalon), Solo, Un linceul n'a pas de poche, L'Ibis rouge, Y a-t-il un Français dans la salle ?, À mort l'arbitre et Le Miraculé. En plus de Bourvil, le réalisateur noue une vraie complicité avec ses acteurs fétiches parmi lesquels Francis Blanche, Jean Poiret, Richard Bohringer et surtout Michel Serrault qu'il fera tourner une douzaine de fois.
Depuis 1996, Jean-Pierre Mocky a du mal à monter ses projets. Ses films sont réalisés avec très peu de budget et bénéficient d'une sortie confidentielle. Certains de ses films ne sont sortis qu'au Brady, sa salle de cinéma.
En 2000, son ancien assistant Eric Le Roy qui apparait dans quelques uns de ses films et a réalisé des bonus pour ses DVD, lui consacre un livre biographique complet.
Toutefois, en 2003, le retour de Michel Serrault et le soutien de Jacques Villeret permet à son nouveau film
Le furet d'obtenir un petit succès.
En 2008, il crée sa propre série télévisée pour la chaîne 13ème rue, Myster Mocky présente.
En 2010, il tourne Les Insomniaques, coproduit par des internautes par l'intermédiaire du site touscoprod.com.
La rumeur selon laquelle il aurait eu dix-sept enfants est démentie par Mocky qui la qualifie de « légende ». Cependant, le 11/08/2010 pour la chronique de Paul Wermus dans VSD, le cinéaste déclare : "Je lègue mon oeuvre cinématographique à l'État. J'ai dix-sept enfants et soixante-deux films au compteur. Je ne souhaite pas que mon héritage artistique se disloque. "
Jean-Pierre Mocky est le père du metteur-en-scène de théâtre Stanislas Nordey, qu'il a eu avec Véronique Nordey, comédienne de cinéma et de théâtre et qui fut sa proche collaboratrice et de Olivia Mokiejewski ambassadrice à WWF et réalisatrice.