McMillan est né à Brooklyn, New York, de Margaret et Harry McMillan, un camionneur.
Avant de devenir un acteur, McMillan était un gérant dans un magasin. À l'âge de 30 ans, il décide de se consacrer à sa carrière d'acteur. Il va au Fiorello H. LaGuardia High School of Music & Art and Performing Arts et prend des leçons d'acteur de
Uta Hagen et Irene Dailey. Le 20 juin 1969, il se marie avec Kathryn McDonald, avec qui il restera jusqu'à sa mort. Ils ont eu un enfant, l'actrice Alison McMillan.
McMillan meurt d'une maladie du foie le 8 janvier 1989.