Élevée à Los Angeles par ses parents adoptifs, Gillian Welch étudie la photographie à l'Université de Californie et découvre la musique bluegrass, notamment Bill Monroe et The Stanley Brothers. Elle étudie ensuite la composition au Berklee College of Music de Boston, où elle rencontre David Rawlings. Après l'obtention de son diplôme en 1992, Welch part s'installer avec Rawlings à Nashville. Celui-ci participe à l'élaboration de ses albums, d'abord en tant que musicien, puis producteur ; au sujet de leur collaboration elle déclare : « We're a two-piece band called Gillian Welch ». (Nous fonctionnons comme un duo dont le nom serait Gillian Welch).
Gillian Welch continue de composer et commence à se faire connaitre à l'échelon local, en 1993 elle remporte la première édition du « Chris Austin Songwriting Contest », concours organisé à Nashville dans le cadre du festival bluegrass Merlefest et ouvert aux jeunes compositeurs. Elle signe un contrat avec la société d'édition Almo/Irving Music Publishing puis avec le label Almo Sounds, lancé en 1995 par Herb Alpert et distribué par Geffen Records. Welch et Rawlings font la connaissance du musicien et producteur T-Bone Burnett après avoir joué en première partie d'un concert de Peter Rowan à Nashville. Burnett produit Revival, le premier album du duo, auquel participent également le guitariste James Burton et le batteur Jim Keltner. Le disque est édité par le label Almo Sounds en 1996, et est nommé aux Grammy Awards dans la catégorie « Best Contemporary Folk Album » (Meilleur album folk contemporain) en 1997. L'album Time (The Revelator), paru en 2001, est également nommé dans la même catégorie en 2002.
En 2000, les titres Didn't Leave Nobody But the Baby qu'elle interprète avec Emmylou Harris et Alison Krauss, et I'll Fly Away chanté en duo avec Krauss, apparaissent sur la bande originale du film O'Brother, réalisé par les frères
Joel et Ethan Coen. Welch est également créditée en tant que productrice associée (Associate Music Producer). La bande originale est nommée « Album of the Year » (Meilleur album de l'année) lors de la 44è édition des Grammy Awards et atteint la première place du hit parade pop américain en mars 2002.,
Le duo a également travaillé avec d'autres artistes, Welch and Rawlings chantent notamment sur deux morceaux (Speedway at Nazareth et Prairie Wedding) de l'album Sailing to Philadelphia du guitariste Mark Knopfler, paru en 2000. Ils sont aussi crédités, entre autres, sur l'album Heartbreaker de Ryan Adams en 2000 ainsi que sur l'album Spooked du chanteur anglais Robyn Hitchcock, édité en 2004. Les chansons de Gillian Welch ont été interprétées entre autres par Emmylou Harris (Orphan Girl reprise sur l'album Wrecking Ball en 1995) et Joan Baez (Caleb Meyer et Elvis Presley Blues reprises sur l'album Dark Chords on a Big Guitar en 2003).