Il rencontre ses futurs coéquipiers
Roger Waters et Richard Wright alors qu'il étudie l'architecture à la Regent Street Polytechnic. Il commence à jouer avec eux dans le groupe Sigma 6 en 1963. En 1965, Syd Barrett se joint à eux pour former Pink Floyd. L'homme du groupe le moins connu, il a néanmoins apporté beaucoup en termes de percussions et était, avec Waters, l'homme du triturage et du bidouillage des sons et des effets spéciaux. Il participera à toutes les tournées de Pink Floyd (notamment au Live 8), et apparaîtra sporadiquement dans celles de Roger Waters (2002 et 2006) et de David Gilmour (2006). En 2005, il publie sa vision de l'histoire du groupe, Inside Out, traduit en français sous le titre Pink Floyd, l'histoire selon Nick Mason.
En plus de son travail au sein de Pink Floyd, il travaille à plusieurs projets extérieurs. Il réalise beaucoup d'albums, particulièrement dans la deuxième moitié des années 70. Il travaille avec d'autres artistes progressifs comme
Robert Wyatt, Gong et Steve Hillage, mais aussi avec l’excentrique jazzman Michael Mantler et le groupe punk The Damned.
Sa carrière musicale en solo se résume à deux albums : Fictitious Sports (1981), écrit et composé par Carla Bley, et Profiles (1985), album presque entièrement instrumental issu d'une collaboration avec Rick Fenn, le guitariste de 10cc.