Il étudie d'abord avec sa mère, Lillian Miller, une chanteuse qui abandonna sa carrière après son mariage, puis avec Samuel Margolis. Il débute en 1943 à Trenton, en Amonasro, et au Metropolitan Opera, en 1945, en Germont, où il défendra avec brio pendant près de trente ans les grands rôles du répertoire italien et français.
Bien que la majeure partie de sa carrière se déroula au Met, il chanta aussi aux Opéras de San Francisco et Chicago. À l'étranger il parut au Palais Garnier de Paris (Figaro) et au Royal Opera House de Londres (Germont) en 1967.
Voix de bronze, solide et infatigable, Merrill était surtout réputé pour les rôles de baryton-Verdi. Il enregistra La traviata et Un ballo in maschera, sous la direction d'Arturo Toscanini.
Merrill fut brièvement marié à la soprano
Roberta Peters en 1952.