Koechner a commencé à étudier à Chicago au ImprovOlympic, troupe d'improvisation comique, sous les enseignements de Del Close, avant de rejoindre Second City, où il va rencontrer Steve Carell et
Nancy Walls, avec qui il va devenir amis.
Après avoir passé une année dans l'émission Saturday Night Live (ou il retrouve Nancy Walls et se lier d'amitié avec Will Ferrell, qui va devenir l'un des membres les plus célèbres du show) et Late Night with Conan O'Brien qui le révèlent au grand public, il a commencé à enchaîner des petits rôles dans des films tels que Des hommes d'influence et Man on the Moon. Sur le tournage du documentaire humoristique Dill Scallion, Koechner débute une association avec Dave "Gruber" Allen, rencontré au Saturday Night Live, en formant The Trucker Naked & T-Bones Show. Ils obtiennent un succès dans les clubs hollywoodiens.
En 2004, il obtient un premier rôle important au cinéma, celui de Champ Kind dans Présentateur vedette: la légende de Ron Burgundy, où il partage la vedette avec Will Ferrell, Christina Applegate, Paul Rudd et Steve Carell. Il continue sa carrière au cinéma en apparaissant dans 40 ans, toujours puceau et Ricky Bobby : Roi du circuit , avec respectivement deux membres du Frat Pack : Steve Carell et Will Ferrell.
En 2006, le réalisateur Jason Reitman lui offre le rôle de Bobby Jay Bliss, lobbyiste des armes à feu dans la comédie satirique Thank You for Smoking.
Il apparaît aussi dans la série The Office, avec Steve Carell, ou Koechner incarne Todd Packer. Mais sa carrière ne se résume pas à la comédie comme le montre son apparition dans le thriller Des serpents dans l'avion.
Mais il revient dans son genre de prédilection - la comédie - en créant The Naked Trucker & T-Bones Show à la télévision pour la chaîne Comedy Central et obtient son premier véritable rôle au cinéma en incarnant le Coach Lambeau Fields dans The Comebacks.
Il enchaîne plusieurs apparitions dans des films ou des séries comme Max la menace, Pushing Daisies et prête sa voix à des personnages d'American Dad!, avant de figurer au casting de Hank.