En 1938, il fait ses débuts au cinéma dans Love Finds Andy Hardy. Un an plus tard, Brooks joue Charles Hamilton, le premier mari de Scarlett O'Hara (jouée par
Vivien Leigh), dans le film classique
Autant en emporte le vent. Viendront ensuite de nombreux films aux côtés de stars comme
Spencer Tracy,
Bette Davis et
Lana Turner.
Au cours des années suivantes, on l'a vu dans de nombreuses productions télévisées. En 1992, il a reçu le prix Golden Boot (en). Sa première épouse était Lois Laurel, fille de l'acteur
Stan Laurel.
De 1978 à sa mort en 2003, il était marié à Hermine Brooks. Il a laissé deux enfants.