A Jim Crow karakter tényleges eredete elveszett a legenda szerint. Az egyik történet azt állítja, hogy Rice egy fekete rabszolga emulációja, amelyet az Egyesült Államok déli részén tett utazásai során látott, amelynek tulajdonosa nem Crow Úr volt. Több forrás szerint egy idős fekete stableman dolgozott az egyik folyóvárosban, ahol Rice fellépett. Egyes beszámolók szerint a férfinak görbe lába és deformált válla volt. Jim Crowról énekelt, és minden egyes versszakot egy kis ugrással szakított meg. Szerint Edmon S. Conner, színész, aki dolgozott Rice karrierje elején, az állítólagos találkozás történt Louisville, Kentucky. Conner és Rice egyaránt részt vettek egy nyári szezonban a városi színházban, amely hátul egy ezüstös istállót hagyott figyelmen kívül. Az istállóban dolgozó idős és torz Rabszolga gyakran előadott egy dalt és táncot, amit saját szórakoztatására improvizált. A színészek látták őt, Rice pedig ” közelről figyelte, és látta, hogy a színpadon ismeretlen karakter van. Több verset is írt, némiképp megváltoztatta a levegőt, jó üzletet csinált belőle, pont olyan volt, mint apu, és elénekelte egy Louisville-i közönségnek. Vadak voltak az örömtől…”Conner szerint az istállót egy Crow nevű fehér ember birtokolta, akinek a nevét az idős Rabszolga elfogadta.
a karakter eredetének valószínűbb magyarázata az, hogy Rice sok éven át megfigyelte és felszívta az afroamerikai tradicionális dalt és táncot. Faji szempontból integrált manhattani környéken nőtt fel, később Rice turnézott a déli rabszolga Államokban. Isaac Odell, az egykori minstrel emlékei szerint, aki az 1907-ben adott interjúban leírta a műfaj fejlődését, Rice megjelent a színpadon a Kentucky-i Louisville-ben, az 1830-as években, és ott megtanulta utánozni a helyi fekete beszédet: “New Yorkba érkezve megnyílt az old Park Színházban, ahol bemutatta Jim Crow-cselekedetét, fekete rabszolgának adva magát. Énekelt egy dalt ,az “I Turn About and Wheel About” – t, és minden este új verseket komponált hozzá, megragadva a nyilvánosságot, és nagyszerű nevet adott magának.”