Harry Carey nait le 16 janvier 1878 dans le Bronx de New York sous le nom de Henry DeWitt Carey II. Il est issu d'une famille aisée : son père est un important magistrat et président d'une entreprise de machines de couture.
Jeune, il suit l'école militaire, mais il refuse ensuite de rentrer à West Point. À la place, il s'inscrit en droit à l'Université de New York. Ses études sont interrompues à 21 ans par une grave pneumonie, après être tombé dans un lac glacé lors d'un accident de bateau.
Durant sa convalescence, il écrit une pièce de théâtre intitulée Montana, qui reflète sa passion pour les chevaux. Il monte la pièce et y joue le rôle principal. Le succès est au rendez-vous : il enchaine les représentations à travers le pays entre 1904 et 1908, approximativement. Il écrit ensuite une deuxième pièce, Heart of Alaska, ayant pour sujet la ruée vers l'or du Klondike. Mais celle-ci n'obtient pas la réussite de la première et ne connait que seize représentations.
Carey est engagé par la Biograph Company, société de production de films basée dans le Bronx, pour laquelle il tourne pour la première fois en 1909. À la naissance d'Hollywood, Carey accompagne la Biograph en Californie. Il apparait dans plusieurs dizaines de courts-métrages de D. W. Griffith et Anthony O'Sullivan entre 1912 et 1915. Il y campe le plus souvent des rôles de méchants face à
Lionel Barrymore,
Lillian Gish,
Mae Marsh et
Mary Pickford. En 1914, Griffith et ses stars quittent le studio qui commence alors à décliner.
En 1915, Harry Carey est repéré par Universal et y signe en tant qu'acteur de premier plan. C'est là qu'il acquiert le statut de star du western. En 1916, il joue dans quatre films de Jacques Jaccard aux côtés d'Olive Golden, qu'il épousera quatre ans plus tard, et de
Hoot Gibson, acteur débutant. Avec Olive, la même année, il apparait aussi dans quatre des toutes premières réalisations de George Marshall. En 1917, Carey tient la vedette de quatorze westerns de Fred Kesley, avec souvent dans des rôles mineurs son ami Hoot Gibson et William Steele.
Toujours en 1917, Harry Carey se retrouve sous la direction d'un autre jeune réalisateur. Il s'agit de
John Ford, qui s'introduit chez Universal pistonné par son grand frère,
Francis Ford. Carey et Ford font tous leurs films ensemble pendant trois ans : ils conduisent une série de vingt-trois westerns à succès où Carey interprète le personnage de Cheyenne Harry. La réussite de ces films le propulse parmi les acteurs les mieux payés d'Hollywood et ils lancent la carrière de John Ford. Hoot Gibson et William Steele y occupent encore des rôles secondaires.
En 1919, Hoot Gibson devient à son tour un premier rôle chez Universal. À partir de 1920, le style laconique de Harry Carey semble passer de mode au profit des cowboys clinquants comme
Tom Mix. En 1922, c'est Gibson qui devient le cowboy fétiche du studio à sa place. En réaction, Harry Carey quitte Universal et John Ford.
Durant les années 1920, Carey reste un cowboy très apprécié du public même s'il ne jouit plus vraiment du statut de superstar comme Mix, Gibson ou
Buck Jones. Il tourne pour différents studios et réalisateurs, comme la Producers Distributing Corporation, le Film Booking Offices ou la filiale américaine de Pathé. À l'aube du parlant, bien que toujours très populaire, il arrête le cinéma pour se consacrer au music-hall avec sa femme Olive. Ils voyagent avec leur troupe pendant quelques années mais ils n'obtiennent pas vraiment de succès.
Harry Carey revient à Hollywood lorsqu'Irving Thalberg, qui dirige la MGM après avoir connu Carey à Universal, offre à l'acteur le premier rôle de
Trader Horn (1931) ; et à Olive un rôle secondaire. Après sept mois de tournage au Mexique et en Afrique, ce long film épique est un réel succès financier. Sa carrière relancée, Carey obtient des premiers rôles dans le western B et remonte en selle malgré ses 53 ans. En 1935, il partage deux nouvelles fois l'affiche avec son vieil ami Hoot Gibson.
En 1936, après une vingtaine de films parlants, il change de style. Il quitte le western et occupe des rôles secondaires dans la série A. Notamment, il fut nommé pour l'Oscar du meilleur acteur dans un second rôle pour sa prestation de vice-président du Congrès dans Monsieur Smith au Sénat (1939). Aussi, il retrouve John Ford dans Je n'ai pas tué Lincoln (1936).
Durant les années 1940, il continue sur la même voie. Il joue quatre fois avec son grand ami
John Wayne, la dernière étant dans La Rivière rouge, tourné en 1946. Bien qu'ils ne partagent aucune scène, le film marque la seule collaboration de Carey avec son fils
Harry Carey Jr. Celui-ci débute alors une carrière durant laquelle il fera souvent partie de l'équipe de John Ford aux côtés de Wayne.
Fumeur, Harry Carey développe un cancer et un emphysème pulmonaire. Il en meurt le 21 septembre 1947 à l'âge de 69 ans. Il fut enterré en costume de cowboy au cimetière de Woodlawn dans le Bronx, devant près d'un millier de fans.