Issu d'une famille pauvre du sud de Londres, le petit Maurice Micklewhite se passionne très tôt pour le théâtre. A 18 ans, il est enrôlé dans les forces britanniques et est envoyé en Corée. A son retour, il exerce quelques petits jobs (garçon de course, accessoiriste...) et joue dans des théâtres régionaux. Il participe également à de très nombreuses pièces pour la télévision. Il adopte rapidement un nom de scène, en référence à son film préféré, Ouragan sur le Caine (1954) de Edward Dmytryk.
C'est en 1956 qu'il fait ses débuts au cinéma, dans Commando en Corée de Julian Amyes. Après une quinzaine d'apparitions, il se retrouve enfin en haut de l'affiche avec Zoulou (1964) de Cy Endfield. Mais c'est l'année suivante qu'il connaît la consécration pour Ipcress - Danger immédiat (1965), film d'espionnage dans lequel il interprète Harry Palmer, un agent secret à l'opposé de James Bond. Il reprend ce rôle dans Mes funérailles à Berlin et Un cerveau d'un milliard de dollars. A la même époque, il asseoit définitivement sa notoriété avec Alfie le dragueur, une prestation de séducteur pour laquelle il reçoit une nomination aux Oscars, et Que vienne la nuit d'Otto Preminger, aux côtés de Jane Fonda.
À partir des années 1970, il tourne davantage aux États-Unis sans pour autant devenir une grande star hollywoodienne. Soldat anglais combattant aux Nouvelles Hébrides pendant la Deuxième Guerre mondiale dans Trop tard pour les héros (1970), il est un gangster réclamant vengeance dans La Loi du milieu (1971), un coiffeur piégé par le mari de sa maîtresse dans Le Limier (1972) ainsi qu'un chasseur de trésor dans L'Homme qui voulut être roi (1975). Durant la décennie suivante, Michael Caine continue de tourner à un rythme effréné. Parmi ses performances marquantes : celles d'un psychiatre dans Pulsions (1980), d'un dramaturge mal intentionné dans Piège mortel (1982) ou d'un entraîneur de football dans un camp de prisonniers allemand dans A nous la victoire (1981) de John Huston.
Frôlant l'Oscar pour L'Éducation de Rita en 1984, il remporte la fameuse statuette en 1987 en donnant la réplique à Mia Farrow dans Hannah et ses soeurs de Woody Allen. Capable d'autodérision, il se montre également à l'aise dans la comédie, enchaînant C'est la faute à Rio (1984), Le Plus escroc des deux (1988) et Élémentaire, mon cher... Lock Holmes (id.), où il campe un Sherlock Holmes plutôt inhabituel (dans cette parodie, il se montre peureux et c'est le docteur Watson/Ben Kingsley qui est le véritable cerveau). En 1995, il tourne coup sur coup deux films dans lesquels il reprend le rôle d'Harry Palmer : Bullet to Beijing de Georges Mihalka et Midnight in St Petersburg de Douglas Jackson.
En 1987, il interprète, comme à son habitude magistralement, le rôle d'un agent secret dans un film qui mériterait d'être plus connu, Le quatrième protocole, dans lequel il bat le futur James Bond, Pierce Brosnan, qui est lui aussi également dans une de ses meilleures interprétations, mais cette fois dans le rôle d'un espion de l'ex-URSS.
On le voit ensuite aux côtés de Jack Nicholson dans Blood and wine (1996), d'Ewan McGregor dans Little voice (1998) et de Geoffrey Rush dans Quills - la plume et le sang (2000). En 2000, il remporte un deuxième Oscar, toujours pour un second rôle, grâce à L'OEuvre de Dieu, la part du diable de Lasse Hallström. Acteur vétéran, la jeune génération le réclame comme partenaire de jeu : Sandra Bullock pour Miss Détective (2001), Mike Myers pour Austin Powers dans Goldmember (2002) et Brendan Fraser pour Un Américain bien tranquille (2003). Norman Jewison le dirige en ancien tortionnaire nazi dans le thriller Crime contre l'Humanité en 2003.
Père de Nicolas Cage dans The Weather Man, il se spécialise, depuis quelques années, dans les rôles de mentor, que ce soit dans l'adaptation de la série Ma sorcière bien-aimée, Les Fils de l'homme d'Alfonso Cuarón, ou Batman Begins dans lequel il reprend le rôle du majordome de
Bruce Wayne/Batman, Alfred Pennyworth (tenu, avant lui, par Michael Gough), et collabore pour la première fois avec Christopher Nolan et Christian Bale, qu'il retrouve ensuite à l'occasion de
The Prestige et de The Dark Knight : Le Chevalier noir, suite des aventures de l'homme chauve-souris. Opposé à Laurence Olivier dans Le Limier, en 1972, Michael Caine reprend aujourd'hui le rôle tenu par ce dernier, dans le remake réalisé par Kenneth Branagh, tandis que Jude Law se glisse, pour la seconde fois (après Irrésistible Alfie) dans la peau d'un personnage créé par celui qui s'oppose à lui dans le film.