Crudup nait à Manhasset, État de New York (États-Unis). Il est le petit-fils de Billy Gaither, un avocat très connu en Floride. Pendant son enfance, ses parents divorcent, puis se marient à nouveau, avant leur deuxième divorce. Il est allé à l'université de la Caroline du Nord, où il obtient son diplôme, avant d'aller à Tisch School of the Arts, New York University pour son magistère en 1994. Un an après, il commence à travailler à Broadway.
Crudup a commencé à apparaître dans les films comme Sleepers (1996) et Inventing the Abbotts (1997). Depuis, il est apparu dans beaucoup de films, mais travaille aussi sur la scène. Il a joué la voix des spots publicitaires « Priceless » de MasterCard depuis 1997, faisant sa première apparition en 1995.
Crudup était la star de la production de The Pillowman de Martin McDonagh avec Jeff Goldblum à Broadway en 2005. Il prête également ses traits et sa voix au Dr Manhattan dans Watchmen et campe J. Edgar Hoover dans le film
Public Enemies de Michael Mann en 2009.
Billy Crudup a eu une liaison avec l'actrice Mary-Louise Parker de 1996 à 2003. Ils ont eu un fils, William Atticus (né le 7 janvier 2004). Billy Crudup a quitté Mary Louise Parker pour l'actrice Claire Danes alors que sa compagne était déjà enceinte de 7 mois, ce qui a nui à son image. Il a rencontré Danes lorsqu'ils tournaient ensemble Stage Beauty. Le couple s'est quitté fin décembre 2007 lorsque Claire Danes a eu le coup de foudre pour l'acteur Hugh Dancy.