L’origine réelle du personnage de Jim Crow a été perdue pour legend. Une histoire prétend que c’est l’émulation de Rice d’un esclave noir qu’il avait vu lors de ses voyages dans le sud des États-Unis, dont le propriétaire n’était pas M. Crow. Plusieurs sources décrivent Rice rencontrant un homme d’écurie noir âgé travaillant dans l’une des villes fluviales où Rice se produisait. Selon certains témoignages, l’homme avait une jambe tordue et une épaule déformée. Il chantait à propos de Jim Crow et ponctuait chaque strophe d’un petit saut. Selon Edmon S. Conner, un acteur qui a travaillé avec Rice au début de sa carrière, la rencontre présumée s’est produite à Louisville, Kentucky. Conner et Rice étaient tous deux engagés pour une saison estivale au théâtre de la ville, qui à l’arrière donnait sur une écurie de livrée. Un esclave âgé et déformé travaillant dans la cour de l’écurie interprétait souvent une chanson et une danse qu’il avait improvisées pour son propre amusement. Les acteurs l’ont vu, et Rice « l’a regardé de près, et a vu qu’il y avait un personnage inconnu de la scène. Il a écrit plusieurs couplets, a quelque peu changé l’air, l’a beaucoup accéléré, s’est composé exactement comme papa et l’a chanté devant un public de Louisville. Ils étaient fous de joie… »Selon Conner, l’écurie de livrée appartenait à un homme blanc nommé Crow, dont l’esclave âgé a adopté le nom.
Une explication plus probable derrière l’origine du personnage est que Rice avait observé et absorbé le chant et la danse traditionnels afro-américains pendant de nombreuses années. Il a grandi dans un quartier racialement intégré de Manhattan, et plus tard, Rice a visité les États esclavagistes du Sud. Selon les souvenirs d’Isaac Odell, un ancien ménestrel qui décrivit le développement du genre dans une interview donnée en 1907, Rice est apparu sur scène à Louisville, dans le Kentucky, dans les années 1830 et y a appris à imiter le discours noir local: « En arrivant à New York, il s’est ouvert au old Park Theatre, où il a présenté son numéro de Jim Crow, se faisant passer pour un esclave noir. Il chantait une chanson, « I Turn About and Wheel About », et chaque soir composait de nouveaux vers pour cela, attrapant le public et se faisant un grand nom. »