Né en France de parents chinois, Yo-Yo Ma commence à quatre ans l'étude du violoncelle avec son père, puis la poursuit au conservatoire de Saint-Germain-en-Laye avec Mme Lepinte Bèche, élève du maître Paul Bazelaire. Après un premier concert à six ans à Paris, il part avec ses parents à New York, où il suit l'enseignement de Leonard Rose à la Juilliard School. Il débute sa carrière professionnelle auprès de Leonard Bernstein et revient en France pour jouer avec l'Orchestre national de France et l'Orchestre de Paris, sous la direction de Myung-Whun Chung. Yo-Yo Ma sort en 2004 un album dans lequel il reprend, sous la direction d'Ennio Morricone, et en collaboration avec le Roma Sinfonietta Orchestra, les plus grandes musiques de films du compositeur italien.
Yo-Yo Ma s'est de nombreuses fois montré ouvert aux autres formes musicales, jazz et tango, ainsi qu'aux musiques traditionnelles et primitives, comme lorsqu'il joua avec des membres du peuple de la brousse du Kalahari, en Afrique. Il a également travaillé, à plusieurs reprises, avec le compositeur de musiques de films John Williams (
Sept ans au Tibet, Mémoires d'une geisha). Sa collaboration avec John Williams a également donnée naissance à des oeuvres plus classiques, et à une pièce arrangée spécialement pour l'investiture de Barack Obama, le 20 janvier 2009 : Air and Simple Gifts. A cette occasion, Yo-Yo Ma interpréta la pièce avec
Itzhak Perlman, Anthony McGill et Gabriela Montero.
Il a parrainé les premières années de l'Orchestre Divan occidental-oriental, l'orchestre israélo-arabe dirigé par Daniel Barenboim.
Il a récemment rejoint la longue liste des ambassadeurs de la paix de l'
ONU, parmi lesquels on trouve de nombreux musiciens : le ténor
Luciano Pavarotti ou le jazzman
Wynton Marsalis, entre autres.
Il s'est marié avec Jill Hornor en 1977 et ils ont deux enfants, Nicholas et Emily. Ils habitent à Cambridge, Massachusetts. Sa soeur ainée, Yeou-Cheng Marie-Thérèse Ma, est une violoniste, qui s'est mariée avec Michael Dadap, un guitariste. Ils s'occupent d'un orchestre d'enfants, Children's Orchestra Society, à Manhasset, dans l'État de New York.