Après avoir obtenu son diplôme à l'université Columbia en 1928, il est envoyé par son père à Berlin pour parfaire son éducation. Il s'intéresse au théâtre et au cinéma et est embauché par l'UFA pour traduire les intertitres des films destinés au marché anglo-saxon. Suite à l'émission d'un chèque sans provisions, il quitte précipitamment Berlin pour Paris. En 1929, son frère
Herman qui travaille comme scénariste (Marx Brothers,
Citizen Kane, etc.) à la Paramount Pictures lui suggère de rentrer le rejoindre. Joseph se voit charger de la rédaction de sous-titres puis de scénarios pour des comédies simples (Skippy, 1931, nommé aux Oscars pour son scénario) et burlesques (pour
W. C. Fields).
Passant à la MGM il obtient une nouvelle nomination aux Oscars du scénario pour L'Ennemi public n° 1 tourné par W.S. Van Dyke. Alors qu'il exprime le souhait de tourner lui-même ses scénarios, Louis B. Mayer le nomme producteur -- il produisit entre autres
Furie de
Fritz Lang, qui ne lui pardonna pas d'avoir procédé à des coupes, contre son avis, sur la fin du film.
En 1942 il se brouille avec L. B. Mayer et rejoint la
20th Century Fox. C'est à ce moment que
Lubitsch, victime d'une crise cardiaque et incapable de tourner lui confie la tâche de réaliser un film qu'il devait faire : Le Château du dragon (1946).
Mankiewicz se fait la main sur les films suivants puis rencontre le succès avec Chaînes conjugales (1949) qui remporte les Oscars du scénario et de mise en scène. L'année suivante il réitère la performance, obtenant exactement les mêmes prix pour Ève, qui remporte également l'Oscar du meilleur film.
En 1950 alors qu'il est président de la Screen Director Guild, Cecil B. DeMille profite d'une période où il est absent pour tenter une offensive pro-Mac Cartyste. De retour Mankiewicz s'oppose à la manoeuvre et soutenu par
John Ford repousse l'attaque.
En 1951 après avoir tourné L'Affaire Cicéron il quitte la Fox et Los Angeles pour aller s'installer au calme sur la côte Est.
En 1952 il adapte le Jules César de William Shakespeare pour la MGM et met en scène La Bohème de Giacomo Puccini pour le Metropolitan Opera.
En 1953 il crée sa propre maison de production, Figaro Inc., qui produisit l'année suivante
La Comtesse aux pieds nus. Les films suivants rencontrent moins de succès. Il faut attendre 1959 pour que Soudain l'été dernier le ramène à l'avant-scène.
En 1960 il est appelé en urgence pour sauver le tournage de Cléopâtre. Très réticent, il accepte en échange d'une grosse somme d'argent et du sauvetage de Figaro Inc. du naufrage financier. Cléopatre l'accapare jusqu'en 1963. Son montage fut remanié par
Zanuck et Mankiewicz renia le film.
En 1967 sort Guêpier pour trois abeilles et en 1970, un western,
Le Reptile.
En 1972 il tourne son dernier film, Le Limier .
Il se retire ensuite, se consacrant à la lecture et se tenant en retrait de l'industrie cinématographique.
Il meurt en 1993 à quelques jours de son 84 e anniversaire et est enterré à New York.