En 1907, deux ans après sa naissance en Russie, sa famille émigre aux États-Unis et s'installe à New York. Sam Levene débute au théâtre à Broadway en 1927, jouant sur les planches new-yorkaises jusqu'en 1980, quelques mois avant sa mort. Parmi les nombreuses pièces auxquelles il participe (il sera même metteur en scène de l'une d'elle en 1956, expérience non-renouvelée), mentionnons Three Men on a Horse (en) en 1935, où il interprète le rôle de Patsy, qu'il reprendra dans l'adaptation au cinéma (en) de 1936 (son premier film), puis lors d'une reprise à Broadway en 1969-1970. Chanteur occasionnel, il collabore également à trois comédies musicales, dont Blanches colombes et vilains messieurs, de 1950 (création) à 1953 ; il y personnifie Nathan Detroit, rôle repris par
Frank Sinatra dans l'
adaptation au cinéma de 1955. Et en 1961, il joue encore Patsy dans Let It Ride, comédie musicale adaptée de la pièce Three Men on a Horse, déjà évoquée. Notons également que cette même année 1961, pour son rôle dans la pièce The Devil's Advocate, il reçoit une nomination au Tony Award du meilleur acteur (15e cérémonie (en)).
Au cinéma, Sam Levene contribue à quarante-deux films américains, de 1936 à 1979, l'un de ses plus connus étant le film noir
Les Tueurs en 1946, aux côtés d'
Ava Gardner et
Burt Lancaster -- avec lequel il avait joué à Broadway l'année précédente (1945), dans la pièce A Sound of Hunting, et qu'il retrouvera l'année suivante (1947), dans le film Les Démons de la liberté --.
À la télévision, il participe à treize séries et à trois téléfilms, entre 1954 et 1977.