De son vrai nom, Oliver Burgess Meredith, il est le fils d'Ida Burgess et de George Meredith. Il commence sa carrière au théâtre en 1926 et la poursuit jusqu'en 1931. Il deviendra même membre à part entière d'une compagnie en 1933. Il a également été réalisateur, scénariste, technicien du son et producteur.
Dans les années 1950, il fut une des victimes du maccarthysme et inscrit sur la liste noire du cinéma.
Il joua entre autres dans le film Batman en 1966 dans lequel il interpréta le rôle du pingouin. Il participa aussi à quatre épisodes de la quatrième dimension. Dans trois de ses quatre apparitions, il interpréta des rôles de personnages timides et travaillant toujours dans le milieu des livres (une de ses apparitions d'homme timide fit d'ailleurs exception car il jouait le rôle d'un vendeur d'aspirateurs). Il retrouva le rôle des livres dans sa quatrième apparition mais joua cette fois le diable.
Il continua également sa carrière à la télévision dans les années 70, et en 1983, reprit le rôle du narrateur dans la Quatrième Dimension, en remplacement de Rod Serling. Avec Jack Klugman, il est la seule célébrité ayant joué dans plus de trois épisodes dans cette série.
De plus, il joua dans un rôle marquant du cinéma, l'entraîneur plein de coeur de Rocky. Bien sûr, il sera de la distribution des 5 films de l'« epic series » et en plus il se fera voir, et ce grâce à des archives, dans quelques scènes du film
Rocky Balboa.