Il passe son enfance à Baltimore puis à Chicago, où en compagnie de sa soeur Blanche Calloway (en), il danse, chante, joue de la batterie et comme nul autre pareil, joue le rôle de "maitre de cérémonie". En 1928, il fait partie des Missourians et des Alabamians respectivement à Chicago et New-York.
Il participe à la revue Hot Chocolate de Irving Mills (en). Il est à l'affiche du Savoy Ballroom de Harlem dès l'âge de 22 ans, où il remporte une mémorable battle of bands face à l'orchestre de
Duke Ellington. Suite à cette entrée en matière très remarquée, Irving Mills et
Duke Ellington s'entendent avec Cab pour que les deux orchestres tournent alternativement dans le célèbre club de jazz le Cotton Club à New York sur Lenox Avenue (en).