Il a commencé dans l'industrie du cinéma en 1933 comme coursier aux studios RKO (où son père était comptable), portant des bobines entre les salles de montage et celles de projection. La crise de 1929 l'avait contraint à arrêter ses études et émigrer vers la Californie.
En 1939, il devient l'un des monteurs les plus réputés de l'époque. Il a d'abord été chargé du montage du son avant de l'être pour l'image.
Orson Welles fera appel à lui pour
Citizen Kane (1940) et
la Splendeur des Amberson (1942). Le premier de ces deux films lui vaut une nomination aux Oscars.
Il est passé par hasard à la réalisation en remplaçant, en 1943, Gunther von Fritsch lors du tournage la Malédiction des hommes-chats. Après plusieurs films de série B, il signe en 1949 l'un des meilleurs films consacrés à la boxe et l'un des premiers films dont l'action se déroule en temps réel : Nous avons gagné ce soir, obtenant le Prix de la critique au Festival de Cannes.
En 1951, il réalise le Jour où la Terre s'arrêta, parabole sur la prolifération des armes nucléaires et, en 1958, un film sur la vie de la première femme à avoir été exécutée aux États-Unis :
Je veux vivre !, qui se veut un réquisitoire contre la peine de mort. Le film lui permet d'être nommé à l'Oscar du meilleur réalisateur pour la première fois.
En 1961, il produit et co-réalise avec le chorégraphe Jerome Robbins la comédie musicale West Side Story dont il assure la mise en scène des séquences parlées, chantées et non dansées (Robbins s'occupant lui de la partie musicale et des scènes avec chorégraphies). Le film ressuscite la comédie musicale hollywoodienne considérée comme morte depuis
Les Girls de
George Cukor en 1957. Triomphe international, West side story obtient dix Oscars dont ceux du meilleur film et de la meilleure réalisation. Quatre ans plus tard, en 1965, Wise rempile avec le succès mondial grâce à La Mélodie du bonheur, autre film musical, adapté celui-là du livre autobiographique de Maria Augusta Trapp. À l'époque, le film surpasse
Autant en emporte le vent en nombre d'entrées ce qui ne s'était encore jamais vu. Cinq Oscars dont ceux du meilleur film et du meilleur réalisateur viennent sanctionner ce nouveau triomphe public et commercial. Entre temps, le cinéaste avait mis en scène ce qui est encore aujourd'hui considéré comme un chef d'oeuvre du film fantastique :
La Maison du diable en 1963.
Sa carrière, étalée sur 57 ans, est éclectique : films catastrophe, histoires d'amour, drames, westerns, films policiers, comédies musicales, films fantastiques et films de science-fiction. Au total, 40 films qui ont marqué à des degrés divers l'histoire du cinéma. Même au crépuscule de sa carrière, il est impliqué dans la production de films sur DVD, allant jusqu'à apparaître publiquement pour les promouvoir.
Homme des studios, il a travaillé avec différents acteurs prestigieux :
Robert Mitchum,
Richard Widmark,
Robert Ryan,
Susan Hayward,
Barbara Stanwyck,
Burt Lancaster et
Paul Newman.
Il a personnellement obtenu quatre Oscars : deux pour West Side Story et deux pour La Mélodie du bonheur, chaque fois pour le meilleur film et le meilleur réalisateur. En 1967, il a aussi reçu le prix Irving Thalberg de l'Académie des arts et des sciences du cinéma pour l'ensemble de sa carrière. Il a d'ailleurs présidé l'AMPAS entre 1985 et 1988.