Né à Alexandria, elle est la fille de Paul O. Wilson, consultant politique menant des campagnes pour les Républicains modérés et de Kathy Wilson (décédée en septembre 2005), ancienne présidente du National Women's Political Caucus (elle assistait à sa dernière convention alors qu'elle était enceinte de Casey), qui, sous sa direction, a approuvé Walter Mondale, candidat démocrate à la Présidence des États-Unis, cette dernière finissant par devenir démocrate et a quitté la politique pour s'impliquer dans l'éducation de la petite enfance.Le frère cadet de Casey, Fletcher, est devenu ingénieur.
Casey est diplômée de TC Williams High School en 1998 et a étudié le théâtre à la Tisch School de NYU des Arts et au Studio de Stella Adler par intérim.
Si elle débute sa carrière dans des troupes d'improvisation à New York au Upright Citizens Brigade Theatre et à Los Angeles, son premier succès est dû à un sketch Rode Hard, qu'elle a créé et interprétée avec June Diane Raphael, pour lequel elle obtient l'ECNY Award du meilleur duo comique en 2005. L'année suivante, elle débute une carrière cinématographique, mais ce n'est qu'en 2007 qu'elle va se faire connaître sur le territoire américain grâce à l'émission humoristique Saturday Night Live, dans lequel elle officie durant deux saisons (2007-2009).
Au cinéma, ses films les plus notables sont
For Your Consideration, Les Frères Solomon,
Meilleures ennemies, pour lequel elle a écrit le scénario, et
Julie et Julia.
Casey sera co-star dans la prochaine comédie d'ABC 2011 Happy Endings avec
Elisha Cuthbert, Zachary Knighton, Adam Pally, Damon Wayans Jr. et Eliza Coupe.