Durant la Première Guerre mondiale, Murphy interrompt ses études de droit. Il ne peut servir dans l'armée en raison d'une ancienne blessure et demande un emploi civil. Il commence sa carrière diplomatique en 1917 comme membre de la légation américaine à Berne. Après la fin du conflit, il obtient son diplôme à la George Washington University Law School et est admis au barreau du district de Columbia. Il suit des cours pour entrer au service diplomatique et est nommé vice-consul à Zurich, puis à Munich entre 1921 et 1925. Il est consul à Paris de 1930 à 1936, puis chargé d'affaires sous l'ambassadeur William C. Bullitt dont il assure l'intérim auprès du gouvernement de Vichy jusqu'à la nomination de l'amiral Leahy,.
Toujours accrédité auprès de Vichy, le président Roosevelt le nomme son représentant spécial en Afrique française du Nord et conseiller politique auprès du général Eisenhower. En Algérie française, Murphy prend des contacts avec le général Giraud, par l'intermédiaire de l'industriel Lemaigre Dubreuil, mais aussi avec l'amiral Darlan, il recrute des officiers de l'armée française et développe des liens avec les dirigeants des réseaux de résistants locaux afin de préparer le débarquement américain (opération Torch), la première grande offensive alliée pendant la Seconde Guerre mondiale.
- 1949 : ambassadeur extraordinaire et plénipotentiaire, Belgique
- 1952 : ambassadeur extraordinaire et plénipotentiaire, Japon
- 1953 : Assistant Secretary for United Nations Affairs
- 1953 : Deputy Under Secretary for Political Affairs (Assistant Secretary)
- 1955 : Deputy Under Secretary for Political Affairs
- 1956 : ambassadeur
- 1958 : représentant personnel du président Eisenhower durant la crise libanaise de 1958.
- 1959 : sous-secrétaire aux affaires politiques
Après s'être retiré du Département d'État en décembre 1959, Murphy devint conseiller des présidents Kennedy, Johnson et
Nixon.