À l'âge de 2 ans, Hardy perd son père et sera élevé par sa mère Emilly Norvell. Il suit une scolarité normale et se passionne pour le chant lyrique. Sa mère l'encourage, mais la perspective de devenir chanteur professionnel ne l'enchante guère. Il poursuit son cursus scolaire et décroche son diplôme d'avocat -- profession qu'il n'exercera pas.
En 1910, Hardy découvre le cinéma, il ouvre dans la foulée une salle de cinéma. Vers 1913-1914, il passe devant la caméra et débute dans des rôles de « méchants ». Entre 1913 et 1916, il apparaît dans plus de quatre cents films muets, il fait merveille dans les rôles de traître. La nuit « Babe » (surnom de Hardy) chante dans les cabarets, à la même époque il devient franc-maçon. Comme Stan Laurel, Hardy travaille derrière la caméra et apprend ainsi les techniques de fabrication d'un film.
Il tourne en 1921 dans le film The Lucky Dog, film produit par Broncho Billy Anderson et tourné sur deux bobines. Il s'agit du premier film qu'il tourne aux côtés de
Stan Laurel. Laurel joue le rôle du héros alors qu'Hardy joue celui d'un voleur.
Oliver Hardy s'est marié à trois reprises :
- Madelyn Saloshin du 7 novembre 1913 jusqu'en 1921
- Myrtle Reeves (1897-1983) du 24 novembre 1921 jusqu'au 18 mai 1937
- Virginie Lucille Jones du 7 mars 1940 jusqu'à son décès le 7 août 1957.
Il n'a pas eu d'enfant.