Leo G. Carroll est né en Angleterre d'une famille catholique d'origine irlandaise (il est prénommé d'après le pape régnant, Léon XIII). Il débute au théâtre en 1912. Son père est militaire, mais Leo, blessé durant la Première Guerre mondiale, ne suit pas la voie paternelle et retourne vers la scène. Il joue dans de nombreuses pièces à Londres, puis à Broadway et enfin à Hollywood en 1933.
En 1934 sa carrière s'oriente vers le cinéma et il fait ses débuts dans Vivre et aimer (Sadie McKee). Suivent plusieurs films, dans lesquels ses personnages de prédilection sont souvent des médecins ou des serviteurs. Il fait une apparition remarquée dans A Christmas Carol (1938), puis dans
Les Hauts de Hurlevent (1939).
La renommée de Leo G. Carroll vient surtout de sa participation à six films d'
Alfred Hitchcock. Aucun autre acteur n'a participé à autant de films du « maître » (à part Hitchcock lui-même dans ses caméos). Il y joue aussi des docteurs (
La Maison du docteur Edwardes), ou des représentants de l'autorité (
La Mort aux trousses).
Sa silhouette est déjà très connue du public quand il incarne le rôle de l'espion Alexander Waverly dans Des agents très spéciaux (The Man from U.N.C.L.E.), de 1964 à la télévision à 1968), Il tourne d'ailleurs le même personnage en parallèle dans une deuxième série, Annie, agent très spécial (The Girl from U.N.C.L.E.) à partir de 1966. Une autre série télévisée, Topper, avait déjà contribué à sa célébrité aux États-Unis en 1954-55.
Il décède en 1972 d'une pneumonie aggravée par un cancer, quelques jours avant son 86e anniversaire. Il est enterré à Glendale (Californie).