Pendant la Seconde Guerre mondiale il suit des cours de droit qu'il doit arrêter en 1943 mais entreprend une carrière d'illustrateur de livres pour enfants (Alice aux pays des merveilles par exemple); en même temps il travaille à Radio Naples où il fait connaissance avec Raffaele La Capria, Aldo Giuffrè et Giuseppe Patroni Griffi, avec lesquels il collaborera souvent dans sa carrière.
En 1946 il débute au théâtre comme assistant d'Ettore Giannini, puis au cinéma comme assistant réalisateur auprès de Luchino Visconti pour le film La Terre tremble (1948). Après divers scénarios (Bellissima, Les coupables), il tourne quelques scènes du film Les chemises rouges (1952) de Goffredo Alessandrini. En 1956 il co-dirige avec Vittorio Gassman le film Kean.
Il attendra 1958 pour diriger son premier long métrage, Le Défi, qui intéresse la critique et le public. Il remportera alors le prix du jury à la Mostra de Venise.
Aujourd'hui, Rosi est connu des cinéphiles pour avoir entre autres élaboré les normes du "film-dossier" (dont Costa-Gavras est également l'un des tenants) à savoir la superposition d'une fiction et d'images d'archives ayant pour but de renseigner le plus objectivement possible sur un grand sujet basique (politique, économique, financier, social, historique), tout en restant éloigné du documentaire journalistique. La dénonciation des crimes et méfaits qui en découlent y jouxte l'étalage d'arguments aussi distanciés et précis que possible, dans un souci très appliqué de nuance pédagogique, refusant d'être didactique ou démagogique.
Ses films traitent ainsi souvent de la mafia, fléau énorme dans le Sud de l'Italie dont il est originaire (
Cadavres exquis,
Oublier Palerme...) Il obtint le Grand Prix du Jury au Festival de Cannes pour L'Affaire Mattei dans lequel il dénonce les pouvoirs de l'industrie pétrolière italienne (responsable selon lui de l'assassinat d'Enrico Mattei en 1972).
En 1984, il change un peu de registre cinématographique en mettant en scène Carmen, le très célèbre opéra de Bizet.
En 1996, après une longue absence, il revient sur la scène cinématographique avec La Trêve, adaptation du roman de Primo Levi qui raconte son retour à Odessa une fois libéré des camps de concentration.
Il a reçu en 2008 l'Ours d'or d'honneur pour l'ensemble de sa carrière au festival de Berlin.