Lenny Kaye est né à Manhattan dans la ville de New York et a grandi dans les borough de Queens et Brooklyn, avant de déménager à North Brunswick Township dans le New Jersey dans les années 1960. C'est ici qu'il forme ses premiers groupes musicaux, The Vandals, et plus tard The Zoo.
Depuis sa rencontre avec Patti Smith au début des années 1970, Kaye a été un de ses plus proches collaborateurs, produisant son premier single Hey Joe / Piss Factory, puis faisant partie intégrante du Patti Smith Group en tant que guitariste. En 1972, il réunit des chansons rock peu connues de la deuxième moitié des années 1960 dans une compilation Nuggets: Original Artyfacts from the First Psychedelic Era, 1965-1968, dans lequel apparaît pour la première fois le terme "Punk rock".
Après le dernier album du Patti Smith Group (Wave) en 1979, il rejoint le Jim Carroll Band en même temps que de créer son propre groupe : Lenny Kaye Connection, qui sortira un album I've got a right en 1984. Durant ces années, il co-produit également les deux premiers albums de Suzanne Vega.
Depuis 1995, il accompagne de nouveau Patti Smith et participe à la réalisation de ses albums.
Il apparaît dans le film de
Jean-Luc Godard,
Film Socialisme sorti en 2010.