Excellent comédien de second plan, il mit son allure débonnaire au service d'une grande variété de rôles dans des classiques aussi importants que
Place aux jeunes (1937), Autant en emporte le vent, Quasimodo, Monsieur Smith au sénat (tous trois en 1939), et La vie est belle (1946) . Il a été en outre récompensé de l'Oscar du meilleur acteur dans un second rôle (encore en 1939) pour l'interprétation de Doc Boone dans La Chevauchée fantastique de John Ford. Il fut également avec
Walter Huston la co-vedette du western d'Howard Hughes qui lança avec scandale la carrière de
Jane Russell: Le Banni (1943).
Fait méconnu: après Bert Freed qui le joua d'abord dans un épisode télévisé datant déjà de 1960, Thomas Mitchell reprit sur les planches le rôle mythique du Lieutenant Columbo, une poignée d'années avant que ce personnage ne fasse la gloire de
Peter Falk à la télévision. Ce fut d'ailleurs le tout dernier rôle de sa carrière car c'est durant cette même tournée théâtrale qu'il succomba à un cancer à l'âge de 70 ans.
Il fut marié avec Rachel Hartzell, puis Ann Stuart Breswer.