Conan O'Brien a grandi dans une famille irlandaise de six enfants à Brookline, une banlieue de Boston. Son père, le docteur Thomas O'Brien, est un médecin au Brigham and Womens' Hospital et un professeur-associé à l'université Harvard. Sa mère, Ruth Reardon O'Brien, est une avocate qui a plaidé pour la firme Ropes & Gray de Boston. Sa soeur Jane est une scénariste et productrice.
Le 12 janvier 2002, O'Brien s'est marié à la publicitaire Liza Powell. La messe fut célébrée à Seattle, dans l'État de Washington. Le couple a deux enfants, une fille, Neve, née le 14 octobre 2003 à New York et un garçon, Beckett, né le 9 novembre 2005 à New York.
Il fait par ailleurs un caméo dans l'épisode 7 de la première saison de la série de NBC "30 Rock".
Après sa graduation d'Harvard, O'Brien déménagea à Los Angeles. Il se joint au groupe de scripteurs de l'émission Not Necessarily The News, diffusée sur le réseau HBO. Il passa deux ans avec cette équipe.
En janvier 1988, le producteur de la célèbre émission Saturday Night Live l'engagea comme scripteur. Durant ses trois ans et demis avec SNL, il écrit de mémorables sketches, tels que Nude Beach, Mr. Short-Term Memory et The Girl Watchers. Durant le printemps 1991, O'Brien quitta Saturday Night Live pour produire et écrire un pilote d'une série télé, intitulée Lookwell. Cependant, la série mettant en vedette Adam West ne produit pas le succès escompté et fut retirée des ondes par NBC en juillet, après seulement un épisode.
L'automne suivant, O'Brien devint un scripteur et producteur pour la truculente série de Fox, Les Simpson. De tous les épisodes qu'il a écrits, il considère Marge vs. the Monorail comme son favori . Il apparaît dans l'épisode Bart Gets Famous diffusé en 1994.
Le 26 avril 1993, Lorne Michaels, producteur à NBC, le choisit pour remplacer
David Letterman à la barre du Late Night with David Letterman, qui fut renommé en Late Night with Conan O'Brien. Les trois premières années du talk-show furent difficiles, car les critiques étaient plutôt mauvaises.
Cependant, depuis 1997, l'équipe de Late Night reçoit continuellement des nominations aux Emmy Award pour les meilleurs scripts.
Le 27 septembre 2004, NBC annonçait que Conan O'Brien remplacera Jay Leno à la barre du The Tonight Show à compter de 2009.
Le 20 février 2009, O'Brien anima donc son dernier Late Night puis commença à animer le The Tonight Show à partir du 1er juin 2009 à 23h35. Leno partait lui animer un nouveau talk show sur NBC : The Jay Leno Show à 22h00.
10 janvier 2010, NBC annonça son intention de changer l'horaire du The Jay Leno Show pour cause d'audience catastrophique, afin d'en faire une version plus courte de 30 minutes à 23h35 et ainsi de diffuser The Tonight Show à 00h05.
Conan O'Brien refusa l'offre de NBC estimant que le Tonight Show est une émission emblématique aux Etats-Unis depuis plus de 50 ans, et que sa case horaire ne peut être modifiée. Après plusieurs jours de négociations, O'brien décida de quitter le poste de présentateur du Tonight Show dès le 22 janvier 2010. Jay Leno reprit son poste au Tonight Show le
mars 2010, après la diffusion des Jeux olympiques d'hiver de 2010 sur NBC.
Conan O'Brien a ensuite fait part de son intention d'animer un nouveau talk show du même genre que le The Tonight Show sur une autre chaîne dès que possible. Cependant, une des clauses du contrat de départ de NBC stipule qu'il ne peut animer d'autres émissions, ni même donner d'interviews avant Septembre 2010. La chaîne Fox était à ce moment parmi les plus intéressées pour récupérer l'animateur.
Il attire de nouveau l'attention en créant un compte sur Twitter dès le 24 février 2010, puis annonce sur ce même compte le 11 mars 2010 un spectacle qui passera par 30 villes américaine à partir du 12 avril 2010 intitulé «The Legally Prohibited From Being Funny On Television Tour.»
Le 12 avril 2010, la chaine TBS annonce qu'un accord a été trouvé entre elle et O'Brien qui y animera donc un talk-show à partir de Novembre 2010 en fin de soirée.