Né Carl Adolf von Sydow, il grandit dans une famille aisée de Lund. Son père Carl Wilhelm von Sydow, était ethnologue et professeur d'irlandais, sa mère Baroness Greta, née Rappe, était quant à elle institutrice. Il a appris l'anglais et l'allemand à l'âge de neuf ans. A l'école, il forme avec quelques amis une troupe de théâtre amateur. C'est ainsi que sa carrière d'acteur débute. En 1951, Max von Sydow se marie avec l'actrice Kerstin Olin, avec qui il a deux fils, Claes et Henrik. Ses enfants sont apparus avec lui dans le film Hawaii. Il divorcera en 1996. Max von Sydow vit actuellement avec sa nouvelle femme à Paris, où il aime lire, écouter de la musique et jardiner. Il a déclaré qu'il n'a aucune intention de prendre sa retraite tant qu'il trouvera des rôles intéressants. Il a obtenu la citoyenneté française en 2002.
Il doit sa notoriété dans l'histoire du cinéma principalement au début de sa carrière, grâce à Ingmar Bergman dont il est alors un des acteurs fétiches, notamment dans le Septième Sceau où il incarne un chevalier existentiel du XIVe siècle de retour des croisades en pleine épidémie de peste, et qui joue sa vie aux échecs avec la Mort.
Sa notoriété lui ouvre les portes des cinématographies européennes puis hollywoodienne. En vieillissant, son physique n'a rien perdu de son âpreté tourmentée, mais ses interprétations n'ont pas retrouvé sa fièvre initiale, hormis quelques rares films comme la Mort en direct de Bertrand Tavernier en 1980 ou Pelle le conquérant de Bille August en 1987. En 1975, il est choisi pour jouer Joubert, le tueur à gage froid et opportuniste qui doit abattre « Condor » (Robert Redford) dans le film Les Trois Jours du condor de Sydney Pollack. Son jeu d'acteur, remarquable, magnifie le rôle de Redford et renforce l'atmosphère oppressante qui pèse sur le film. En avril 1997, il épouse la documentariste française Catherine Brelet en Provence. En 2008, il tourne sous la direction de Francis Huster, aux côtés de Jean-Paul Belmondo et Hafsia Herzi, dans le film
Un homme et son chien.