Né dans une famille d'origine aristocratique de Pologne déportée au Kazakhstan (son père ancien officier meurt au Goulag), Oleg imite son frère Rostislav Yankovski qui s'était lancé en 1957 dans la carrière théâtrale en Biélorussie à Minsk. Oleg rejoint le théâtre dramatique de Saratov en 1965. Il entre dans la carrière cinématographique deux ans plus tard, lorsqu'il est retenu pour tourner dans deux films traitant de la Seconde Guerre mondiale.
En 1973, il entre au Lenkom de Moscou.
Yankovski a poursuivi une carrière au théâtre et une carrière féconde au cinéma, faisant de lui un acteur classique et en même temps un acteur moderne, incarnant les plus grands rôles du cinéma contemporain soviétique puis russe. Il est apparu dans des adaptations de classiques, comme Ma douce et tendre bête (1977), ou La Sonate à Kreutzer (1987). Il est parallèlement acteur principal au Lenkom dans des mises en scène de Mark Zakharov. On l'a vu aussi dans des adaptations télévisées de pièces de théâtre comme Un miracle ordinaire (1978) et Le baron de Muenchausen (1979). Il obtient le prix d'État de l'URSS pour son rôle dans l'oeuvre de Roman Balayan Vols entre rêve et réalité (1984).
À l'étranger, il se fait connaître par ses rôles dans les films de Tarkovski : Le Miroir (où il joue le père) et
Nostalghia (où il tient le rôle principal).
Yankovski dirige le Kinotavr (festival du film de Sotchi) depuis 1993. Il a reçu encore récemment des prix pour sa carrière, en particulier le Nika de la part de l'Académie du Cinéma russe pour le film qu'il a dirigé Viens me voir (2001), ainsi que son rôle dans L'Amant de Valeri Todorovski (en) (2002). Il a joué le comte Pahlen dans Pauvre, pauvre Pavel (2004) et Komarovski dans une adaptation télévisée du Docteur Jivago (2006), dirigée par Alexandre Prochkine.
Il est enterré au cimetière de Novodiévitchi à Moscou.