Enfant, il est élevé à La Nouvelle-Orléans où il apprend le piano. Sa famille s'installe ensuite à Chicago, puis à Oakland, où il fait ses débuts en 1951 comme bassiste du groupe The Teardrops, puis comme pianiste au sein des Lemon Drops, qui interprète des standards de
Fats Domino ou
Ray Charles.
Engagé en 1954 dans l'orchestre de Lloyd Price, il devient son concurrent pour le label Specialty, reprenant Just Becausee ou Lawdy Miss Clawdy. Il est ensuite choisi par Robert "Bumps" Blackwell pour pallier l'absence de
Little Richard entré dans les ordres. Il obtient un certain succès avec Short Fat Fanny, My Bonnie Moronie et Dizzy Miss Lizzy, avant de sortir l'album Here's Larry Williams en 1958. Puis il est renvoyé par Specialty en 1959 après avoir été condamné pour trafic de stupéfiants.
Il enregistre un nouvel album chez Chess Records, puis signe chez Mercury Records, mais n'obtient plus aucun hit. C'est d'Angleterre que vient la reconnaissance. Les Beatles enregistrent trois de ses titres (Dizzy Miss Lizzy, Slow Down et Bad Boy), et She Said Yeah est repris par les
Rolling Stones et les Animals. Il fait alors une tournée en Grande-Bretagne en 1965 en compagnie de Johnny "Guitar" Watson, dont sont issus deux albums live. Il travaille par la suite pour les compagnies Okeh Records, Venture et Bell.
Larry Williams est retrouvé mort à son domimile de Laurel Canyon avec une balle dans la tête à l'âge de quarante-quatre ans. La thèse du suicide est contestée par certains.