Jack Klugman de son vrai nom Jacob Joachim Klugman est né le 27 avril 1922 en Pennsylvanie, fils de Max Klugman, peintre en bâtiment et de Rose Klugman, Fabricante et vendeuse de chapeaux à domicile. Il a une soeur, Deborah et un frère, Maurice (qui est décédé le 8 mai 1981). Il a commencé sa carrière en 1950. Il a participé au film Douze Hommes en Colère de Sydney Lumet (1957) dans lequel il a tenu le rôle du juré numéro 5 (il affirmera, par la suite, que ce film était son préféré...) Il a également, été avec,
Burgess Meredith, l'un des deux seuls acteurs "connus" à jouer dans plus de trois épisodes de la Quatrième Dimension. En général, les rôles tenus par Klugman , dans cette série étaient ceux de personnages ayant un penchant très prononcé pour l'alcool ou un orgueil démesuré.
En 1976, il joue le rôle principal dans la série Quincy. Il apparaîtra ensuite dans des talks-shows avant d'arrêter définitivement sa carrière en 2005.