Fils du poète Arseni Tarkovski, Andreï Tarkovski évolue dans un milieu qui le pousse à s'intéresser aux arts. « Sa mère avait senti en lui un tempérament artistique » affirme sa femme Larissa Tarkovskaïa. Il étudie ainsi la musique, la peinture, la sculpture, l'arabe (« Cette langue l'éblouissait parce qu'on y trouve des centaines de mots pour désigner le chameau »), jusqu'à se tourner vers la géologie en participant à une expédition d'un an en Sibérie. En 1956 seulement, il entre au VGIK (Institut fédéral d'État du cinéma), à Moscou. Il y suit pendant quatre ans la classe de Mikhaïl Romm : « Ce maître m'a appris à être moi-même. » tout en poursuivant en parallèle les cours d'une école de musique et d'une école de peinture. C'est à partir de là qu'il met en scène son premier court-métrage : Les Tueurs, adapté de la nouvelle d'Ernest Hemingway. En 1960, il réalise son film de fin d'études :
Le Rouleau compresseur et le violon, un moyen-métrage en couleurs.
Son premier long-métrage L'Enfance d'Ivan le propulse sur la scène internationale grâce à l'obtention du Lion d'or à la Mostra de Venise en 1962. L'Enfance d'Ivan annonce un renouveau dans le cinéma soviétique, lui permettant enfin un détachement avec le réalisme social et l'arrivée de nouveaux auteurs. Souvent ennuyé par la censure, jugeant son oeuvre non conforme aux impératifs de l'art national, il doit remanier le montage de ses films suivants notamment celui d'
Andrei Roublev.
Après la réalisation de
Solaris, c'est avec Le Miroir qui intègre dans son récit des épisodes de sa propre enfance et même des poèmes de son père, que son contentieux avec les autorités soviétiques qui jugent son film trop avant-gardiste l'oblige à émigrer pour trouver d'autres ressources financières, artistiques et professionnelles. Il achève néanmoins l'élaboration de
Stalker d'après un roman des frères Strougatski en Union des républiques socialistes soviétiques. Après plusieurs voyages en Italie, en Suède ainsi qu'au Royaume-Uni pour y monter l'opéra de Moussorgsky, Boris Goudonov, il décide finalement de revenir en URSS en 1981 pour retrouver son épouse Larissa et leur fils : Andreï Tarkovski Jr. Mais il quitte définitivement le pays l'année suivante, s'établissant en Italie où il y tourne
Nostalghia co-écrit avec le scénariste de
Michelangelo Antonioni,
Tonino Guerra, un film sur la nostalgie que peuvent éprouver les russes très attachés à leurs racines. Pendant que Tarkovski est en Italie, Mosfilm empêche son fils Andriouchka, sa femme Larissa et leur chien Dakus de rejoindre Andreï par peur qu'ils ne reviennent pas en Union soviétique. Tarkovski est finalement rejoint quelques années après par sa femme Larissa en Italie. A Cannes,
Nostalghia reçoit, des mains d'Orson Welles, ex-aequo avec L'Argent de
Robert Bresson, le Prix du cinéma de création.
Enfin,
Ingmar Bergman invite Tarkovski à tourner Le Sacrifice sur son île, l'île de Farö. En décembre 1985, un cancer du poumon est détecté chez Andrei Tarkovski. Cette maladie avait déjà tué l'un de ses acteurs fétiches en 1982,
Anatoli Solonitsyne. Après le tournage, grâce à
François Mitterrand et à
Jacques Chirac qui lui offre, en tant que maire de Paris à l'époque, un logement et des soins gratuits ; Andreï est hospitalisé à Paris. Il y retrouve enfin son fils Andreï le 19 Janvier 1986.
Il décède des suites d'un cancer du poumon le 28 décembre 1986 à Neuilly-sur-Seine en France. Il est inhumé le 3 janvier 1987 au cimetière russe orthodoxe de Sainte-Geneviève-des-Bois.
Le cinéma d'Andreï Tarkovski est unanimement reconnu. Il a particulièrement influencé
Nuri Bilge Ceylan dans son film
Uzak,
Sharunas Bartas,
Alexandre Sokourov ainsi que
Andrei Zviaguintsev dont Le Bannissement a été considéré comme du Tarkovski de troisième zone par les critiques. Le film de
Lars Von Trier Antichrist est dédié à Andreï Tarkovski.
L'édition définitive de son Journal 1970 - 1986 est le document le plus intéressant pour en connaître davantage sur sa biographie.