Giuliani est né dans une famille catholique de Brooklyn, l'un des cinq boroughs de la ville de New York, et a grandi à Garden City, Long Island. Ses deux parents sont enfants d'immigrants italiens. Son père Harold Giuliani a été condamné pour vols et fait plusieurs séjours à la prison de Sing Sing. Il est ensuite garde du corps de son beau-frère, Leo D'Avanzo, un petit caïd de la mafia new yorkaise.
Rudolph Giuliani fait ses études de sciences politiques au Manhattan Collegeavant de poursuivre en droit à l'université de New York.
Diplômé en 1968, il épouse Regina Peruggi.
Il commence sa carrière professionnelle comme clerc auprès du juge Lloyd MacMahon, dans le district sud de New York.
Politiquement, il s'enregistre chez les démocrates, puis rejoint les indépendants et enfin les républicains.
En 1970, Giuliani entre au bureau du procureur fédéral.
Âgé de 29 ans à peine, il est nommé chef du bureau en charge des narcotiques.
En 1975, Giuliani part à Washington DC durant l'administration Ford où il est nommé Associate Deputy Attorney General et chef de cabinet de l'Attorney General adjoint. C'est à ce poste qu'il connaît ses premiers succès publics quand il fait condamner pour corruption le député Bert Podell.
De 1977 à 1981, durant la présidence de
Jimmy Carter, Giuliani rejoint un cabinet juridique Patterson, Belknap, Webb and Tyler.
En 1981, quand les républicains reviennent à la Maison Blanche, Giuliani est nommé Procureur général associé des États-Unis (Associate Attorney General), le n° 3 du département de Justice (équivalent du ministère de la justice), où il supervise un grand nombre d'administrations fédérales comme le département des drogues, les marshals fédéraux...
En 1982, il parvient à faire déclarer nul son mariage par l'église catholique (sa femme était sa cousine, ce qu'il dit avoir ignoré).
En 1983, Giuliani est nommé U.S. Attorney (procureur fédéral) du district sud de New York. C'est à ce poste qu'il poursuit avec succès des personnalités financières de Wall Street. Ainsi, Marc Rich est poursuivi par Giuliani pour évasion fiscale et pour commerce illégal avec l'Iran. Rich fuit les États-Unis pour s'installer en Suisse et est finalement grâcié par
Bill Clinton au dernier jour de son mandat en 2001.
Giuliani ne rencontre pas que des succès et il est accusé de faire de la justice spectacle et de procéder à des arrestations en dépit du manque d'éléments à charge. Mais les réussites de sa lutte contre la corruption, les trafiquants de drogue, le crime organisé et les criminels en col blanc sont vite reconnues et en peu de temps, 4152 affaires sont jugées et condamnées (contre seulement 25 cas de relaxe).
Qualifié d'incorruptible, Giuliani va même jusqu'à poursuivre et faire condamner un ami et contributeur financier de son allié, Alphonse D'Amato, sénateur de New York au Congrès des États-Unis, en dépit des pressions de ce dernier pour enterrer l'affaire.
En 1984, Rudolph Giuliani épouse Donna Hanover avec qui il a deux enfants (le couple divorce en 2002). Il se marie avec Judith Nathan en 2003.
En 1989, Rudolph Giuliani est le candidat républicain à la mairie de New York. Il est battu de justesse de 47 000 voix par le démocrate David Dinkins sur un total de près de 2 millions de bulletins exprimés (112 voix allèrent à un candidat indépendant).
En 1993, Giuliani se présente de nouveau à la mairie de New York contre Dinkins. Son programme est axé sur la lutte contre la criminalité, le chômage (la ville a perdu plus de 330 000 emplois en 4 ans) et le contrôle budgétaire (la ville est très endettée).
Dinkins reçoit le soutien affiché du président Bill Clinton mais accuse les électeurs de racisme (Dinkins est noir, la ville est plutôt démocrate, or en 1989, Dinkins a failli être battu et en 1993, doit affronter les critiques au sein même de son parti).
Giuliani est finalement élu avec 82 000 voix d'avance sur 1 889 000 voix exprimées (dont 53 000 voix portées sur un candidat tiers).