Pianiste et compositeur de jazz, John Wakefield dit "Ghost", un personnage falot et veule, dirige un quintet de jazzmen blancs. Au cours d'une fête, il rencontre Jess Polanski, une jeune chanteuse, peu sûre d'elle, poussée à l'alcool et sous l'emprise de Benny Flowers, imprésario véreux. Alors qu'elle est prête à s'offrir, Ghost refuse de profiter d'une femme ivre. C'est seulement le lendemain que Ghost, au cours d'un concert dans un jardin public désert, embrasse Jess, ce qui alimente la jalousie de l'imprésario. Poussé par ce dernier, le groupe commence à enregistrer un disque avec la chanteuse, ce que les musiciens vont fêter de façon remuante au bar du grec Nick. Benny manipule en sous-main deux colosses irlandais qui vont provoquer Ghost et qu'ils envoient évidemment à terre sous les yeux de sa belle. Cette humiliation pousse Ghost à rompre avec Jess, à annuler l'enregistrement, et à quitter le groupe. Benny fait alors de lui un pianiste dans une boîte de jazz et l'offre comme gigolo à la Comtesse. Mais un soir, dans un bar, Ghost rencontre à nouveau Jess, complètement détruite. Il tente alors de revenir avec elle vers son ancien groupe, qui commencera par le recevoir fort mal, pour finalement entamer tous ensemble leur morceau favori.