Hervé Villechaize est né le 23 avril 1943 à Paris. Il arrêta de grandir très tôt et son père, qui était chirurgien, essaya en vain de lui trouver un remède. Il avait 3 frères (Philippe Villechaize, Patrick Villechaize, et Jean-Paul Villechaize). Hervé Villechaize était également l'oncle de Thomas Villechaize (journaliste sportif et présentateur télé). Son nanisme ne fut pas son seul handicap puisqu'il avait des poumons atrophiés. Hervé étudia aux Beaux-Arts à Paris et fit une exposition de ses propres peintures, laquelle reçut un très bon accueil.
À l'âge de 21 ans, il quitta la France pour les États-Unis où il continua à peindre et à pratiquer la photographie. Il commença aussi à participer à quelques films et reçut vite plusieurs offres, tant pour le théâtre que pour le cinéma. Son premier grand succès fut L'Homme au pistolet d'or, en 1974, où il joua le rôle de Tric-Trac, sbire du personnage de Scaramanga (joué par
Christopher Lee). Il joua ensuite dans la série télévisée L'Île fantastique où il endossa à partir de 1978 le rôle de Tattoo, le fidèle serviteur de Monsieur Roarke (joué par Ricardo Montalbán). Cette série lui valut un immense succès et Hervé devint connu et riche, principalement grâce à son charmant mais énigmatique sourire.