Après ses études de chant avec le baryton autrichien Adolf Robinson (1838-1920), il débute en 1896 à Brno (Moravie), dans le rôle-titre de Lohengrin. En 1898-1899, il se produit au Staatsoper Unter den Linden de Berlin, et de 1899 à 1901, à l'opéra de Breslau. En 1900, il interprète les rôles-titres de Lohengrin et Siegfried à la Royal Opera House (dite Covent Garden) de Londres, où il reviendra en 1909 (avec Otello), après avoir parfait, l'année précédente (1908) à Paris, son apprentissage du répertoire non-allemand, auprès du ténor polonais Jean de Reszke (1850-1925). En 1902, il chante pour la première fois à la Scala de Milan, dans Tannhäuser. Et de novembre 1909 à janvier 1913, il est sous contrat au Metropolitan Opera ("Met") de New York (aux deux extrémités de cette période, dans le rôle-titre d’Otello, sous la direction d'Arturo Toscanini). Mais surtout, de 1901 à 1926, il est membre de la troupe du Wiener Staatsoper (l'Opéra d'État de Vienne) et s'y produit plus de neuf-cent (!) fois dans l'intervalle. Il en devient ensuite membre honoraire et y chante pour la dernière fois (dans Pagliacci) en 1934, année marquant le terme de sa première carrière de ténor, durant laquelle il chante en d'autres lieux (notamment en tournées aux États-Unis, en Russie) et ne se cantonne pas à son répertoire d'opéras — comprenant une soixantaine de rôles différents —, puisqu'il participe aussi à des concerts et récitals.
En 1932, Leo Slezak entame une seconde carrière d'acteur et joue dans quarante-cinq films allemands jusqu'en 1943, principalement des comédies et des films musicaux (où lui-même chante). Parmi ses partenaires à l'écran, citons la soprano Maria Jeritza,
Ingrid Bergman,
Magda Schneider,
Zarah Leander,
Hans Albers,
S. Z. Sakall, entre autres.
Il est le père de l'acteur
Walter Slezak (1902-1983) — aux côtés duquel il a au cinéma une première expérience (un petit rôle), alors sans lendemain, en 1922 —. D'abord domicilié à Berlin ou à Vienne, il s'établit en 1943 avec son épouse à Rottach-Egern, où il meurt en 1946.
Il est l'auteur d'une autobiographie publiée en 1938.