Peu de temps après sa naissance, sa famille émigre au Mali, où il suit une partie de ses études primaires et secondaires. Après un court retour en 1980 en Mauritanie, il part en Union Soviétique, à Moscou, où il étudie le cinéma au VGIK (Institut fédéral d'État du Cinéma) de 1983 à 1989.
Au début des années 1990, Abderrahmane Sissako s'installe en France. En 1994, Il obtient, lors du 4 eFestival du cinéma africain de Milan, le Prix du meilleur court métrage pour son film
Octobre. En 1999, lors de la 9e édition de ce même festival, il reçoit le Prix du meilleur long métrage pour La Vie sur terre, tourné l'année précédente.
Il est président du jury du festival Premiers Plans d'Angers en janvier 2007, membre du jury des longs-métrages au Festival de Cannes 2007 et président du concours d'entrée à la Fémis l'année suivante.
Abderrahmane Sissako est, avec Ousmane Sembène, Souleymane Cissé,
Idrissa Ouedraogo ou Djibril Diop Mambety l'un des rares cinéastes d'Afrique Noire à avoir obtenu une notoriété internationale.