Le film est fondé sur Band of Angels, un roman de Robert Penn Warren. Amantha Starr (Yvonne De Carlo) est la fille extrêmement gâtée d'un propriétaire de plantation. Malheureusement la mort de ce dernier met au jour un affreux secret : Amantha ne savait pas que sa mère avait été l'une des esclaves noires de son père. Légalement elle n'est plus maintenant qu'un bien comme un autre et elle est prise par un marchand d'esclaves de la Nouvelle-Orléans pour être vendue. Sur le bateau qui descend le fleuve, il lui dit sans détour son intention de coucher avec elle, mais il y renonce quand elle essaie de se pendre : c'est une jeune femme belle et cultivée, que l'on prendrait pour une blanche, elle a trop de valeur pour qu'il risque de la perdre.
Amantha est mise aux enchères et la voilà inspectée sans pitié par un acheteur potentiel, un grossier personnage. Elle est sauvée d'une humiliation supplémentaire par Hamish Bond (Clark Gable), qui surenchérit et l'achète à un prix exorbitant. S'attendant au pire, Amantha est toute surprise que son nouveau propriétaire la traite comme une dame et non comme un esclave. Dans la propriété de son maître à la ville, elle fait la connaissance des principaux esclaves qu'il possède, sa domestique Michele (Carolle Drake) et son esclave préféré Rau-Ru (Sidney Poitier), au caractère contrasté. Il est en effet reconnaissant de la gentillesse d'Hamish, de l'éducation qu'il lui a donnée et de la confiance qu'il met en lui, mais il ne peut jamais oublier son statut social.
Le temps passe et Amantha et Hamish tombent amoureux l'un de l'autre. Pour compliquer encore les choses, Hamish cache le terrible secret d'une chose passée qui trouble sa conscience.
Finalement la guerre civile éclate et la Nouvelle-Orléans tombe entre les mains de l'Union, la tête de Hamish est mise à prix. Lui et Amantha s'échappent avec l'aide de Rau-Ru, qui avait fui et avait rejoint l'armée de l'Union.