det faktiska ursprunget till Jim Crow-karaktären har gått förlorat för legenden. En berättelse hävdar att det är Rices emulering av en svart slav som han hade sett på sina resor i hela södra USA, vars ägare inte var Mr.Crow. Flera källor beskriver ris som möter en äldre svart stableman som arbetar i en av flodstäderna där Rice uppträdde. Enligt vissa konton hade mannen ett krokigt ben och en deformerad axel. Han sjöng om Jim Crow och punkterade varje strofe med ett litet hopp. Enligt Edmon S. Conner, en skådespelare som arbetade med Rice tidigt i sin karriär, det påstådda mötet hände i Louisville, Kentucky. Conner och Rice var båda förlovade under en sommarsäsong på Stadsteatern, som på baksidan förbises en leverstall. En äldre och deformerad slav som arbetade på Stallgården framförde ofta en sång och dans som han hade improviserat för sin egen nöjen. Skådespelarna såg honom, och Rice ”tittade på honom noga och såg att det fanns en karaktär okänd för scenen. Han skrev flera verser, ändrade luften något, snabbare det en hel del, består precis som pappa, och sjöng den till en Louisville publik. De var Vilda av glädje…”Enligt Conner ägdes livery stable av en vit man som heter Crow, vars namn den äldre slaven antog.
en mer sannolik förklaring bakom karaktärens ursprung är att Rice hade observerat och absorberat Afroamerikansk traditionell sång och dans under många år. Han växte upp i ett rasintegrerat Manhattan-grannskap, och senare turnerade Rice i södra slavstaterna. Enligt reminiscenser av Isaac Odell, en före detta minstrel som beskrev utvecklingen av genren i en intervju som gavs 1907, dök Rice upp på scenen i Louisville, Kentucky, på 1830-talet och lärde sig där att efterlikna lokalt svart tal: ”när han kom till New York öppnade han sig på old Park Theatre, där han introducerade sin Jim Crow-handling och imiterade en svart slav. Han sjöng en sång, ’I Turn About and Wheel About’, och varje natt komponerade nya verser för det, fånga på med allmänheten och göra ett stort namn för sig själv.”