Jimmy débute par le saxophone alto en jouant notamment aux côtés de Howard McGhee et Dizzy Gillespie à la fin des années 1940. Heath est très influencé par le saxophoniste Charlie Parker ; il reçoit même le surnom Little Bird en référence à celui de Parker et il choisit à partir de 1951 de jouer au saxophone ténor,. Jouant au début des années 1950 aux côtés de Clifford Brown, Kenny Dorham et aussi
Chet Baker pour qui il compose la plupart des morceaux de l'album Playboys (1956), Heath commence à avoir du succès à cette période. Mais la volonté de jouer aussi bien que Parker le conduit à imiter les travers de son modele avec une addiction à l'héroïne. Il est arrêté en 1955 en possession de drogue et incarcéré pour quatre ans. À sa sortie il rejoint durant l'été 1959 le groupe de Miles Davis pour remplacer John Coltrane que Davis avait renvoyé en raison de sa consommation excessive de drogue. Il enregistre ensuite jusqu'en 1964 six albums pour Riverside. Il remplace le trombone par le cor d'harmonie, ajoute parfois un tuba ou un violoncelle ce qui fournit à ces albums une sonorité bien personnelle. Durant les années 1960, il joue également à plusieurs reprises avec Milt Jackson et Art Farmer. En 1975, il forme le Heath Brothers avec ses deux frères et accompagné du pianiste Stanley Cowell, avec lequel il joue jusqu'en 1982.
Dans les années 1980, il rejoint en tant que professeur l'École de musique Aaron Copland au Queens College de l'Université de New York. Heath est récompensé en 2003 par le NEA Jazz Masters Award.