Cadet des quatre fils de Jacobus Heesters, commerçant, et de son épouse née Gertruida van Hoebel, Johan Marius Nicolaas Heesters suit des cours dans une école secondaire de commerce, et à l'âge de seize ans décide de devenir acteur. Il prend donc des cours de chant et de théâtre. Il obtient son premier rôle en 1921 et joue au cinéma muet en 1924 dans Cirque hollandais de Theo Frenkel. Il est remarqué, lorsqu'il chante en 1927 devant Harry Frommermann qui avait fondé le groupe Comedian Harmonists. Johannes Heesters se marie en 1930 avec la chanteuse belge Louise Ghijs avec qui il restera marié jusqu'à sa mort en 1985. Il a deux filles : Wiesje Herold, pianiste à Vienne, et Nicole Heesters, comédienne à Hambourg.
Il fait ses débuts à Vienne, et joue dans de nombreuses opérettes. Il obtient un grand succès dans Der Bettelstudent de Karl Millöcker en 1934, à l'Opéra populaire de Vienne.
Il déménage à Berlin en 1936 et devient l'un des chanteurs préférés d'Hitler. Il est célèbre et populaire, comme à l'époque en France
Tino Rossi, dont il a un registre comparable, mais il est partisan par opportunisme du régime officiel national-socialiste (il prend sa carte au NSDAP). Le public lui donne le surnom de Jopie. Il tourne dans des films musicaux et se produit sur scène, notamment dans le comte Danilo de La Veuve joyeuse, rôle qu'il interprètera pendant trente-cinq ans, plus de 1 600 fois ! En 1941, Heesters visite Dachau, pour s'y produire devant les SS, ce qui créera plus tard une grande polémique.
Les films dans lesquels il chante sont interdits par les Alliés, après 1945.
Il remonte sur scène après la guerre à Munich, Vienne et Berlin et est toujours aimé du public.
Otto Preminger le fait jouer en 1953 dans Die Jungfrau auf dem Dach. Dans les années 1960 et 1970, on le voit beaucoup à la télévision. Il fait paraître ses Mémoires en 1978 sous le titre Es kommt auf die Sekunde an. Veuf, il épouse en 1992 la comédienne Simone Rethel qui a quarante-six ans de moins que lui. Il joue de 1996 à 2001 à ses côtés dans la pièce de Curth Flatow Ein gesegnetes Alter, ce qui en fait alors l'acteur le plus vieux du monde. Il joue dans Chacun de nous de Hugo von Hofmannsthal en 2004 et fait une tournée en 2005 avec l'Orchestre de Film de Babelsberg dans sept grandes villes allemandes puis en décembre 2006 à l'Admiralspalast de Berlin, avec Katja Riemann.
Des déclarations récentes montrent qu'il tiendrait toujours Hitler en estime. On lui reproche, surtout en Hollande, de ne pas s'être distancié du régime, comme le fit
Hans Albers, bien qu'à l'époque il ne se fût pas prononcé publiquement pour le régime.
Lorsqu'il est venu, après plus de quarante ans d'absence aux Pays-Bas en février 2008 dans sa ville natale, ses apparitions publiques ont été mouvementées. Un de ses concerts a été stoppé, car les spectateurs l'ont accueilli avec le salut nazi, en signe de protestation. Il vit désormais dans les montagnes de Bavière, dans l'arrondissement de Starnberg. Il est devenu presque aveugle à cause d'un glaucome et d'une dégénérescence maculaire liée à l'âge.
Il tourne pour la dernière fois dans une apparition du film de
Til Schweiger 1 1/2 Ritter - Auf der Suche nach der Hinreißenden Herzelinde en 2008, à l'âge de 104 ans. Son dernier rôle important avait été auparavant dans Otto - Der Film en 1985.