Il s'intéressa à la carrière d'acteur à l'université d'Oklahoma où il fit partie de la troupe théâtrale. Ceci le conduisit sur les planches de Broadway au début des années 1930. En 1936, il se tourna vers Hollywood pour tourner son premier film La Rebelle (A woman rebels) avec Katherine Hepburn.
Engagé sous contrat par la MGM, il tourna dans de nombreux westerns, et reçut en 1942 un Oscar du second rôle pour sa prestation dans Johnny, roi des gangsters (Johnny Eager) de
Mervyn LeRoy (avec
Robert Taylor et
Lana Turner).
Van Heflin ne joua jamais les héros ni les jeunes premiers, mais il fut convaincant dans des rôles de caractère. Sa dernière prestation majeure fut dans le célèbre film Airport dans lequel il joue un homme désespéré voulant se faire exploser avec l'avion pour que son épouse touche l'assurance-vie.
En juillet 1971, il fut terrassé par une crise cardiaque alors qu'il se baignait dans sa piscine. Il arriva à se hisser sur l'échelle de bain où on le trouva plusieurs heures plus tard. Il resta dans le coma pendant 17 jours avant de succomber.