Son père,spéculateur boursier, s'étant suicidé, Carl doit quitter l'école à l'âge de quinze ans et travailler dans un secrétariat. Il se déplace à Innsbruck, puis à Vienne où il devient dramaturge. Les événements de la première guerre mondiale font de lui un pacifiste. En 1917, il rejoint Berlin où il se lie d'amitié avec la vedette de théâtre Gilda Langer et tombe amoureux d'elle. En 1920 il écrit le script du Cabinet du docteur Caligari pour le réalisateur allemand
Robert Wiene. Le rôle principal devait être interprété par Gilda Langer, mais celle-ci décède en 1920. Le rôle sera tenu par Lil Dagover. Mayer paiera la pierre tombale de Gilda et y fera graver des vers de Tristan et Yseult.
Le succès du Cabinet du docteur Caligari le rend célèbre et il devient le scénariste de grands réalisateurs de la grande époque du cinéma allemand (1920-1930): Murnau, Leni,..
Juif et pacifiste, il quitte l'Allemagne dès 1932 pour s'établir à Londres, où il travaille comme conseiller à l'Industrie du film britannique.
En 1942 on lui diagnostique un cancer et il décédera pauvre et presque oublié le 1er juillet 1944. IL est enterré à Londres et sur sa pierre tombale est gravé:Pionnier dans l'art du cinéma. Érigé par ses amis et collègues de travail.
La ville de Graz a créé un prix qui porte son nom.