Diplômé en droit de l'université de Georgetown en 1964, il exerce la profession d'avocat puis en 1966 celle d'attorney du comté de Chittenden jusqu'à son élection au Sénat des États-Unis en 1974.
Leahy est alors le second démocrate du Vermont à être élu au Congrès sous les couleurs du parti démocrate et le premier sénateur démocrate de l'État. Patrick Leahy est réélu en 1980 et 1986.
En 1987, il démissionne de sa fonction de vice-président de la commission sénatoriale des services secrets après avoir divulgué des informations confidentielles à la presse.
De 1987 à 1995, il est président de la commission sénatoriale de l'agriculture. Réélu en 1992, il l'est de nouveau en 1998 avec le soutien de son adversaire républicain, Fred Tuttle.
Il est l'un des deux sénateurs qui ont reçu des enveloppes à l'anthrax en 2001.
De 2001 à 2003, il préside la commission judiciaire.
Le 22 juin 2004, il a une altercation au Congrès avec le vice-président
Dick Cheney enjoignant au sénateur du Vermont d'aller se faire foutre ("go fuck yourself").
En novembre 2004, il est une nouvelle fois réélu avec 70,6% des suffrages contre 25% à son adversaire, l'homme d'affaire républicain Jack McMullen.
En 2005, il est encore membre de la commission judiciaire et un des dirigeants démocrates à la pointe du combat contre les propositions de nomination de certains juges conservateurs à des postes de juges fédéraux par le président
George W. Bush.
En septembre 2007, il dépose, avec le sénateur républicain Arlen Specter, une proposition de loi, le Habeas Corpus Restoration Act de 2007, visant à accorder le droit à l'habeas corpus pour tous les détenus de Guantanamo.