Né à Walpole Massachusetts, Farrell débute à Hollywood par de petits rôles dans les années 1920. Sa première apparition, non créditée, date de 1923 dans le film La Flétrissure (The Cheat) avec la vamp de l'écran d'origine polonaise Pola Negri et l'acteur Jack Holt. Son deuxième film est la très populaire adaptation du roman de Victor Hugo Notre-Dame de Paris (The Hunchback of Notre Dame) avec
Lon Chaney réalisé en 1923 par
Wallace Worsley.
Farrell joue de petits rôles durant les années suivantes sans grand succès jusqu'au mélodrame L'Heure suprême (Seventh Heaven) de
Frank Borzage où il est associé à
Janet Gaynor. Le film, loué par la critique, fut un tel triomphe que les deux acteurs se retrouveront à nouveau dans plus de douze films jusqu'au début du cinéma parlant. Contrairement à de nombreux pairs, Farrell passa sans difficulté au parlant et resta un acteur très populaire.
Farrell épousa l'ex-actrice
Virginia Valli le 4 février 1931. Ils restèrent unis jusqu'à la mort de celle-ci le 24 septembre 1968.