Kyle est né et a grandi à Walnut Creek, en Californie, avec ses frères Mitchell et Matthew. À l'âge de douze ans, il a commencé à jouer son premier instrument, la flûte. Peu de temps après, il a commencé à jouer du saxophone. Parallèlement, il a commencé à jouer d'une vieille guitare à cordes en nylon.
Lors de son apparition au Late Night avec Conan O'Brien, le 15 novembre 2006, Kyle a affirmé avoir été le plus jeune diplômé de la Juilliard School of Music avec un diplôme en études de guitare classique à l'âge de treize ans. Un peu plus tôt, dans un article paru dans le Sunday Times le 29 octobre 2006, Jack Black a indiqué que Kyle était le plus jeune diplômé de la Juilliard.
Tout comme sa carrière musicale, la carrière cinématographique de Kyle a commencé très tôt. Après ses études à Las Lomas High School en 1978, Kyle s'est inscrit à l'Université de Californie à Los Angeles (UCLA). C'est là qu'il a rencontré l'acteur Tim Robbins, qui le recruta dans l'Actor's Gang. Kyle fut diplômé de l'UCLA en 1986. En 1984, un garçon de seize ans nommé Jack Black a été l'une des nouvelles recrues de l'Actor's Gang, et c'est pour cette raison que les deux s'étaient réunis. Selon Kyle, il n'aimait pas beaucoup Jack au début, mais les deux ont finalement dépassé leurs différences et sont devenus bons amis. Kyle a même enseigné à Jack à jouer de la guitare, et les deux ont rapidement formé un groupe qu'ils ont appelé Tenacious D.
Il est aussi apparu dans plusieurs épisodes du show télévisé Fear of a Punk Planet, dans le clip de Good Charlotte Lifestyles of the Rich And Famous à l'image d'un avocat interrogeant un chien, dans un épisode de Friends incarnant Lowell, un voleur et ami de Phoebe, dans le film
Elfe incarnant Eugene et dans quelques petites parties de plusieurs films de Jack Black (Shallow Hal, Saving Silverman, The Cable Guy, etc.)