Zhang Yimou est issu d'une famille proche du Kuomintang. Son père a combattu avec le grade de major dans l'armée nationaliste et son oncle a fui à Taïwan avec Tchang Kai-chek après la défaite contre les communistes lors de la guerre civile chinoise, en 1949. À partir de la Révolution culturelle en 1966, Zhang Yimou, contraint d'arrêter ses études, part travailler trois ans dans une ferme puis sept ans dans un atelier de tissage. Durant cette période, il poursuit une activité de peintre et de photographe amateur.
À la réouverture de l'Université de cinéma de Pékin en 1978, il s'y inscrit dans la section « prise de vue ». Il sort diplômé de la faculté en 1982, comme Chen Kaige et Tian Zhuangzhuang, mais eux dans la section « réalisation ». Tous trois sont considérés comme les chefs de file de la « cinquième génération », groupe de cinéastes chinois ayant étudié le cinéma après la Révolution culturelle et qui, influencés par la Nouvelle Vague française, osent revendiquer plus de liberté dans leur création puis évoquer l'héritage maoïste de manière critique.
En tant que directeur de la photographie, il travaille avec Chen Kaige sur ses deux premiers films : Terre jaune et
La Grande Parade.
En 1987, il réalise son premier long métrage Le Sorgho rouge (adaptation du Clan du sorgho de Mo Yan) qui remporte l'Ours d'or au Festival de Berlin en 1988.
L'actrice Gong Li, qui fut son épouse jusqu'en 1995, joue dans ses sept premiers longs métrages et tourne à nouveau sous sa direction dans la shakesperienne Cité interdite en 2006.
Zhang Yimou réalise de nombreux films importants, pour la plupart des fresques marquées par la grande beauté des images et par la critique sous-jacente des modèles historiques chinois (la féodalité impériale, la Révolution culturelle, la République de Deng Xiaoping...). Judou, Épouses et concubines (adaptation d'un roman de Su Tong), Qiu Ju, une femme chinoise (adaptation d'une nouvelle de Chen Yuanbin) et
Vivre ! (adaptation d'un roman de Yu Hua) le font connaître en Occident et lui permettent de gagner de nombreux prix dans les festivals internationaux même s'il rencontre fréquemment des ennuis avec la censure.
Ses films se caractérisent également par une esthétique exotique propre à émerveiller les spectateurs par la magnificence des décors et des costumes.
Surfant sur le renouveau du wu xia pian relancé par Tigre et Dragon, il réalise
Hero où les plus grandes stars du cinéma de Hong Kong sont réunies : Jet Li, Maggie Cheung, Tony Leung Chiu-wai, Zhang Ziyi et Donnie Yen. Le film qui est un succès international, est loué pour le travail du directeur de la photographie Christopher Doyle sur l'utilisation des couleurs, mais certains critiques occidentaux lui reprochent son sous-texte idéologique justifiant le totalitarisme pour assurer la stabilité de l'empire. Il s'agit d'un tournant dans la carrière du cinéaste qui délaisse le cinéma d'auteur pour s'inscrire dans le grand spectacle mâtiné d'effets spéciaux avec ensuite Le Secret des poignards volants et La Cité interdite. On a alors accusé Zhang Yimou de délaisser le cinéma contestataire pour devenir le réalisateur officiel de la République chinoise.
Il est choisi pour concevoir le spectacle de la cérémonie d'ouverture des Jeux olympiques d'été de 2008 à Pékin. Il succède à Steven Spielberg à ce poste, après que ce dernier s'est retiré pour protester contre le non respect des droits de l'homme dans ce pays et contre l'implication du régime de Pékin dans la guerre civile au Darfour.
En 2009, il a réalisé A Woman, a Gun and a Noodle Shop qui est le remake de
Sang pour sang des frères Coen.