Il est surtout célèbre pour avoir interprété Jim Phelps, le cerveau des opérations dans la série Mission Impossible. Il est aussi le jeune frère de James Arness, acteur et producteur américain (né le 26 mai 1923 à Minneapolis) vedette de la série Gunsmoke.
Peter Graves grandit dans le Minnesota puis est speaker à la radio dès l'âge de 16 ans à Minneapolis. Après avoir passé deux ans dans l'US Air Force, il étudie l'art dramatique à l'Université du Minnesota. Il commence à apparaître au cinéma et à la télévision au début des années cinquante : il tient notamment des rôles secondaires dans
Stalag 17 de Billy Wilder (1953) et dans le film-culte La Nuit du chasseur de Charles Laughton (1955) où il interprète le compagnon de cellule de Robert Mitchum qui a caché un important butin que ce dernier va chercher à récupérer. À cette époque, Peter Graves est aussi la vedette de films moins importants, notamment des westerns.
Après être déjà apparu dans plusieurs séries télévisées, Peter Graves devient une vedette populaire avec le rôle de Jim Phelps qui dirige l'équipe de Mission impossible à partir du début de la deuxième saison en 1967. Il tiendra le rôle dans cent quarante-trois épisodes jusqu'à la fin de la série, en 1973. La suite de sa carrière ne lui offre pourtant pas de rôles mémorables, jusqu'au personnage délirant du commandant de bord de Y a-t-il un pilote dans l'avion ? en 1980 et la suite deux ans plus tard. Sa prestation est à la hauteur de celles de ses partenaires (notamment Leslie Nielsen et Lloyd Bridges, futurs "abonnés" au genre parodique) et il fait preuve d'auto-dérision en parodiant dans une scène du second film son personnage de Mission impossible.
En 1988, Peter Graves, toujours associé au rôle qui l'a rendu mondialement célèbre, reprend (à l'instar de
Patrick MacNee et son rôle de John Steed) le rôle de Jim Phelps dans une nouvelle série : Mission Impossible : 20 ans après qui s'arrêtera au bout de deux saisons et trente-cinq épisodes. Depuis, il a ralenti le rythme de ses tournages, n'apparaissant plus que rarement au cinéma ou en guest star dans plusieurs séries télé, comme Sept à la maison où il interprétait le grand-père dans plusieurs épisodes (entre 1997 et 2007), et récemment un épisode de Dr House (2005) et de Cold Case (2006).
Il meurt le 14 mars 2010 à son domicile de Los Angeles, quatre jours avant ses 84 ans .