D'abord comédien de théâtre et de comédie musicale, il entame rapidement une carrière cinématographique. Repéré très tôt par Sidney Lumet, il perce dans Annie Hall de Woody Allen en 1977 et surtout avec son rôle oscarisé dans Voyage au bout de l'enfer (The deer Hunter) de Michael Cimino (1978), où la scène de la roulette russe avec
Robert de Niro est devenue culte. Il accepte aussi bien les seconds rôles que les premiers (
Dead Zone de David Cronenberg). Son « look » lui facilite les rôles de « durs » et de « méchants » notamment dans les films Dangereusement vôtre (A view to a kill) de John Glen (1985), un James Bond où il interprète le « grand méchant » (industriel follement mégalomane), et Comme un chien enragé (At close range) de James Foley (1986) ainsi que le film français Le Grand Pardon 2 d'Alexandre Arcady (1992) où il tenait le rôle du méchant Pasco Meisner face à Richard Berry et Roger Hanin. Sa collaboration avec Abel Ferrara donne un autre coup de fouet à sa carrière : à commencer par The King of New York (1990), où il est Frank White, un baron de la drogue récemment relâché de prison et qui veut récupérer son territoire, puis The Addiction (1995), Nos funérailles (The Funeral) (1996) et New Rose Hotel (1998). Il travaille entre autres avec Tim Burton dans Batman, le défi (Batman Returns) en 1991 et dans
Sleepy Hollow en 1999 où il campe l'étonnant personnage du cavalier sans tête, et Quentin Tarantino pour un des nombreux seconds rôles de Pulp Fiction. Dernièrement il a tenté le registre plus populaire de la comédie avec Couple de stars (America's sweethearts) en 2001.
En 2000, il apparaît dans le clip de la chanson de Fatboy Slim, Weapon of Choice, réalisé par Spike Jonze.
En 2002, sous la direction de Steven Spielberg, il a également fait une interprétation remarquée dans Arrête-moi si tu peux (Catch me if you can), aux côtés de Leonardo DiCaprio, jouant le rôle du père du personnage interprété par DiCaprio. En 2004, il incarne le mari de Glenn Close pour le film de Frank Oz, Et l'homme créa la femme (The Stepford Wives).
Un hoax selon lequel l'acteur aurait décidé de se présenter à la présidence des États-Unis aux élections circule en 2008. Un faux site officiel relaie ce canular.