Né à Rochester (New York), il étudie au Cleveland Institute of Music et à la Eastman School of Music. Il suit les cours de Roger Sessions à New York. En 1936, il compose le ballet TOM sur un texte d'E. E. Cummings d'après La Case de l'oncle Tom. Il va à Paris la même année, et y rencontre Albert Roussel, Darius Milhaud et Maurice Ravel. Il y retourne en 1937, pour suivre les cours de Nadia Boulanger.
Il compose un Psaume dédié à André Gide qui obtient le prix des publications Juilliard, et qui est créé à San Francisco par Pierre Monteux. Il obtient une bourse de la fondation Guggenheim et compose également une Elégie à la mémoire de Ravel. Il reçoit le prix de Rome, et écrit son oeuvre la plus connue, une commande de
Dimitri Mitropoulos, Rounds (1944) pour orchestre à cordes. Il écrivit aussi onze symphonies. La première est créée par Mitropoulos en 1941, la deuxième par Serge Koussevitzky en 1944, et Charles Munch crée sa troisième symphonie en 1951. Son ami Leonard Bernstein crée sa huitième symphonie en 1961.
Il vit de 1951 à 1965 en Italie, puis devient chef de département à l'école de musique de Manhattan. Il était ouvertement homosexuel, et se sentit la cible à la fois d'homophobie et d'antisémitisme.
Il a aussi composé le thème musical de l'émission diffusée sur la radio de CBS, "Hear It Now" (1950-51) et sa suite télévisée, "See It Now" (1951-58).
À partir de 1973, il enseigne la composition à la Juilliard School. Il a parmi ses élèves Daron Hagen, Adolphus Hailstork, Anthony Iannaccone, Alasdair MacLean, Francis Thorne, Eric Whitacre, and Lowell Liebermann et Kenneth Fuchs. Il est nommé compositeur en résidence de l'orchestre symphonique de Seattle.
Il meurt chez lui, à Brighton (comté de Monroe dans l'État de New York), d'insuffisance cardiaque.