Robert Dillon, de la famille des Dillon de Roscomon, était un gentilhomme irlandais catholique, possesseur d'une jolie fortune. Pour l'augmenter, et dans la nullité où étaient condamnés les catholiques, son frère fut chargé de la faire valoir dans le négoce. Robert Dillon avait épousé une riche héritière dont il eut une seule fille, lady Swinburne. Devenu veuf, il épousa miss Dicconson, la plus jeune de trois soeurs que leur père, gouverneur du prince de Galles Jacques François Stuart, fils de Jacques II, avait élevées à Saint-Germain. Lors du mariage, leurs parents étaient rentrés en Angleterre et établis chez eux en Lancashire, dans un beau domaine. Robert Dillon et son épouse se fixèrent en Worcestershire, et c'est là que naquirent leurs sept premiers enfants. Mais le frère, chargé des affaires en Irlande, vint à mourir et on s'aperçut qu'il les avait très mal gérées. Robert Dillon fut obligé de s'en occuper lui-même. Les plus importantes étaient à Bordeaux : il se décida à s'y rendre et emmena sa famille. Il s'y plut. Sa femme, élevée en France, la préférait à l'Angleterre. Il prit une belle maison à Bordeaux, acheta une terre aux environs et y menait la vie d'un homme riche jusqu'à sa mort, survenue en sortant de table. Il laissait madame Dilon, âgée de trente-deux ans, grosse de son treizième enfant, isolée dans un pays étranger. On découvrit vite que Robert Dillon vivait sur des capitaux qui touchaient à leur fin et qu'il laissait une veuve et ses treize enfants avec pour tout bien une petite terre près de Bordeaux.
Madame Dillon était encore très belle, très aimable et très sage. Ses enfants étaient aussi d'une beauté frappante. On s'occupa d'une famille si abandonnée. Tout le monde voulut venir à son secours : tant il y a, que, sans avoir jamais quitté ses tourelles de Terrefort, madame Dillon y soutint noblesse et trouva le secret d'élever treize enfants, de les établir dans des positions qui promettaient d'être très brillantes, lorsque la Révolution arrêta toutes les carrières.
De cette branche cadette représentée par Robert Dillon (1710-1764), sont issus en particulier :
- Mary Dillon (1746-1782) qui épousa le marquis de Lavie (1747-1812) président à mortier du parlement de Bordeaux, député de la noblesse puis membre du Conseil des Cinq-Cents ;
- Édouard Dillon (1750-1839) comte de Dillon en 1770, dit le beau Dillon ;
- Éléonore Dillon (1753-1831) qui épousa René-Eustache d'Osmond quatrième marquis d'Osmond (1751-1838), ministre de France, ambassadeur, pair de France sous la Restauration (elle fut la mère de la comtesse de Boigne et de Rainulphe d'Osmond cinquième marquis d'Osmond) ;
- Franck Dillon (1764-1837) officier dans la brigade irlandaise, maréchal de camp en 1815.