Né en 1934, Alan Arkin grandit dans un quartier de Brooklyn, à New York, au sein d'une famille d'intellectuels et d'artistes juifs, immigrés de Russie et d'Allemagne.
Enfant de la balle, il manifeste dès son plus jeune âge une passion pour la musique et le théâtre, abandonnant ses études supérieures pour former son groupe de musique, The Tarriers. Il écrit même une chanson en 1956, The Banana Boat Song, qu'Harry Belafonte reprendra avec succès.
Vivant d'expédients et de petits boulots, il essaie tant bien que mal de décrocher sur le tas un petit rôle à la télévision ou au théâtre. En 1957, il décroche le petit rôle d'un chanteur dans le film musical Calypso Heat Wave, mais c'est sur les planches au début des années 1960 qu'il commence à percer en rejoignant la célèbre troupe d'improvisation de Chicago, le Second City Theater.
Son premier rôle à Broadway, le personnage principal de la pièce de Carl Reiner, Enter Laughing, lui vaut le Tony Award du Meilleur acteur. Au cinéma, son rôle dans la comédie Les Russes arrivent, lui vaut de se faire connaître et d'avoir le Golden Globe et une nomination à l'Oscar du Meilleur acteur. L'année suivante, il incarne un psychopathe dans Seule dans la nuit, avec Audrey Hepburn.
En 1968, il incarne un sourd-muet dans Le Coeur est un chasseur solitaire, prestation qui lui vaut sa seconde nomination aux Oscars.
Dans les années '70, on le remarque dans Catch 22, pamphlet anti-guerre de Mike Nichols et Sherlock Holmes attaque l'Orient Express. Il passe aussi à la réalisation avec Little Murders.
Après des années 80 et 90 en demi-teinte, mais avec des films comme Edward aux mains d'argent, Glengarry, Bienvenue à Gattaca, il revient dans les années 2000 avec la série Tribunal central, mais surtout avec le film indépendant Little Miss Sunshine (succès surprise de l'année 2006), où sa prestation de grand-père héroïnomane lui vaut l'Oscar du meilleur acteur dans un second rôle.
Il retrouve Steve Carell en 2008 après Little Miss Sunshine, dans la comédie
Max la menace, adaptée de la série éponyme et partage la vedette avec Owen Wilson et Jennifer Aniston dans
Marley et moi, où il est le patron d'un journal. En 2009, il collabore de nouveau avec les producteurs de Little Miss Sunshine en jouant le père d'Amy Adams et d'Emily Blunt dans Sunshine Cleaning, puis il campe le mari de Robin Wright Penn dans Les Vies privées de Pippa Lee.
Alan Arkin fut marié de 1955 à 1960, à Jeremy Yaffe, puis de 1964 aux années 1990, à Barbara Dana. Depuis 1996, il est marié à Suzanne Newlander.
Il est aussi le père de trois fils :
Adam (né en 1956), Matthew (né en 1960) et Anthony (né en 1967).