D'origine noble et fils d'un industriel de la photographie, il fait ses études à l'École technique de photographie et de cinématographie (ETPC) de la rue de Vaugirard (École Louis-Lumière) où il réalise son premier court-métrage. C'est comme opérateur qu'il débute au service de presse des armées en pleine guerre d'Algérie. Témoin d'une torture qu'il réprouve, il se jure alors de ne plus montrer la vie que sous son côté fantaisiste. Il tourne plusieurs documentaires en Afrique et, de retour à Paris, vit de petites commandes de prise de vue avant de devenir assistant réalisateur au début des années 1950. Il a ainsi l'occasion de travailler, aux côtés de Georges Lacombe,
Henri Decoin,
Claude Chabrol et François Truffaut, à la réalisation de plusieurs grands films de la Nouvelle Vague. En 1960, il débute une carrière de réalisateur et tourne plusieurs comédies, notamment Les Jeux de l'amour et
Le Farceur avec
Jean-Pierre Cassel dans le rôle principal et un scénario de
Daniel Boulanger.
Mais c'est le succès de
Cartouche, tourné en 1961 avec
Jean-Paul Belmondo, film dont il est aussi le scénariste, qui engage le réalisateur sur la voie des films populaires à gros budgets. La consécration internationale est acquise avec L'Homme de Rio (1963), toujours avec Belmondo qu'il fait tourner encore dans trois autres films, Les Tribulations d'un Chinois en Chine en 1965, avec
Ursula Andress,
Le Magnifique en 1973, une parodie des films d'espionnage, et L'Incorrigible en 1975.
Cette fidélité à ses acteurs est une constante que l'on retrouve avec deux comédies de pur divertissement,
Tendre poulet (1977) et On a volé la cuisse de Jupiter (1979) avec
Annie Girardot et
Philippe Noiret. Ces deux comédies permettent au réalisateur de renouer avec le succès après plusieurs échecs à la fin des années 1960 et au début des années 1970. En effet, après l'échec du Roi de Coeur en 1966, Broca est ruiné et cesse d'être producteur. Il devient pendant deux ans pilote de brousse en Afrique, une expérience qui lui inspirera L'Africain quelques années plus tard. Désormais, Broca devra être plus consensuel et misera davantage sur Belmondo que sur
Jean-Pierre Cassel, son acteur fétiche.
En 1987, il adapte le roman d'Honoré de Balzac Les Chouans, avec
Sophie Marceau et
Philippe Noiret. Avec Le bossu, adapté du roman de Paul Féval en 1997, il renoue avec les films de cape et d'épée. Si son avant-dernier film avec Jean-Paul Belmondo,
Amazone (2000), est un échec, son dernier film Vipère au poing, une adaptation du célèbre roman d'Hervé Bazin avec
Jacques Villeret et
Catherine Frot, sorti peu avant sa mort en 2004, est un succès. Sa société de production se nomme « Fildebroc ».
Il était chevalier de la Légion d'honneur et père de trois enfants dont un (Alexandre) avec
Marthe Keller.
Il est inhumé au cimetière de Sauzon à Belle-Île-en-Mer.