Originaire du sud-ouest de la France, il fait des études d'agriculture (il se qualifiera d'ailleurs lui-même de "comédien-paysan" et parlera souvent de son amour des chevaux). Il quitte son pays natal pour monter à Paris afin d'y vivre sa passion pour la peinture et la sculpture. Mais grâce à son mentor, le grand homme de théâtre Charles Dullin, il fait ses débuts au café théâtre dans les années 1930. Il apparait à l'écran en 1948, avec un rôle dans la Ferme des sept péchés de Jean Devaivre.
Grand homme de théâtre, il obtient un Molière du meilleur acteur en 1988 pour son rôle dans Je ne suis pas Rappaport de Herb Garner. Son interprétation de L'Avare en 1962 reste un moment époustouflant de théâtre ; il joue également dans Colombe de Jean Anouilh, est l'interprète de Marcel Aymé, à chaque fois sous la direction d'André Barsacq, et dans des oeuvres de Jacques Audiberti. Il obtient un vif succès dans Le Gardien d'Harold Pinter en 1969, ainsi que dans L'escalier, mis en scène par Georges Wilson, avec lequel il montera également Les Aiguilleurs et Léopold le bien aimé. Sa carrière cinématographique, souvent dans des seconds rôles, en France et en Italie, est énorme (plus de 160 films). Il a joué dans des films parfois médiocres mais son talent fait qu'il y est, lui, toujours excellent, voire mémorable.
Il joue en particulier dans des films de Jean Delannoy, André Hunebelle, Yves Robert, Louis Malle, Michel Audiard, Claude Chabrol, Jean Becker, Claude Sautet...
En 1978, il obtient le César du meilleur acteur dans un second rôle pour sa prestation dans
Le Crabe-tambour de Pierre Schoendoerffer, qu'il obtient à nouveau 2 ans plus tard avec Un mauvais fils de Claude Sautet en 1980. Il est nommé pour un nouveau César du second rôle pour sa participation à C'est quoi la vie ? en 1999, film pour lequel il obtient la récompense du Meilleur Acteur, au Festival International du Film de San Sebastian (1999). En 1988, il remporte le Sept d'or du meilleur comédien dans un téléfilm, Une femme innocente (tourné en 1986).
Lors de la sortie du film de Jean Marboeuf Pétain en 1993, il dit clairement qu'il est monarchiste et affirme que l'Action française comptait beaucoup de résistants dans ses rangs pendant la guerre.
Jacques Dufilho a participé à la Seconde Guerre mondiale au sein du 29e groupe de reconnaissance de division d'infanterie (GRDI), groupement issu du 2e régiment de Hussards. Il a pour cela reçu la Légion d'honneur au sein de ce régiment en 1998. En signe d'hommage, le cinéma du 2e régiment de Hussards a été baptisé "cinéma Jacques Dufilho" le 4 juin 2006.
Il publie en 2003 une autobiographie intitulée Les Sirènes du bateau-loup (Fayard).
Homme de convictions, passionné par les chevaux et les automobiles Bugatti, il était catholique traditionaliste et monarchiste légitimiste.
Il meurt le 28 août 2005 à Ponsampère (Gers), où il s'était retiré. Ses obsèques ont lieu en l'église Sainte-Marie de Mirande, et son inhumation au cimetière de Ponsampère.