originea reală a personajului Jim Crow a fost pierdută în legendă. O poveste susține că este emularea lui Rice a unui sclav negru pe care l-a văzut în călătoriile sale în sudul Statelor Unite, al cărui proprietar nu era Domnul Crow. Mai multe surse descriu că Rice a întâlnit un stableman negru în vârstă care lucra într-unul din orașele fluviale în care se desfășura Rice. Potrivit unor relatări, bărbatul avea un picior strâmb și un umăr deformat. Cânta despre Jim Crow și puncta fiecare strofă cu un mic salt. Potrivit lui Edmon S. Conner, un actor care a lucrat cu Rice la începutul carierei sale, presupusa întâlnire a avut loc în Louisville, Kentucky. Conner și Rice au fost amândoi angajați pentru un sezon de vară la Teatrul orașului, care în spate a trecut cu vederea un grajd de livrare. Un sclav în vârstă și deformat care lucra în curtea grajdului cânta adesea un cântec și un dans pe care îl improvizase pentru propria sa distracție. Actorii l-au văzut, iar Rice „l-a urmărit îndeaproape și a văzut că există un personaj necunoscut scenei. A scris mai multe versuri, a schimbat oarecum aerul, l-a accelerat foarte mult, a făcut exact ca tati și l-a cântat unui public din Louisville. Erau sălbatici de încântare…”Potrivit lui Conner, grajdul de livrare era deținut de un bărbat alb pe nume Crow, al cărui nume l-a adoptat sclavul în vârstă.o explicație mai probabilă din spatele originii personajului este că Rice a observat și a absorbit cântecul și dansul tradițional afro-American de-a lungul multor ani. A crescut într-un cartier din Manhattan integrat rasial, iar mai târziu Rice a vizitat Statele sclave din sud. Conform reminiscențelor lui Isaac Odell, un fost menestrel care a descris dezvoltarea genului într-un interviu acordat în 1907, Rice a apărut pe scenă la Louisville, Kentucky, în anii 1830 și a învățat acolo să imite vorbirea neagră locală: „venind la New York s-a deschis la old Park Theatre, unde și-a prezentat actul Jim Crow, imitându-se un sclav negru. El a cântat un cântec, ‘mă întorc și mă învârt’ și în fiecare noapte a compus versuri noi pentru el, atrăgând publicul și făcându-și un nume mare.”