El origen real del personaje de Jim Crow se ha perdido en la leyenda. Una historia afirma que es la emulación de Rice de un esclavo negro que había visto en sus viajes por el sur de los Estados Unidos, cuyo dueño no era el Sr. Crow. Varias fuentes describen que Rice se encontró con un anciano negro que trabajaba en una de las ciudades fluviales donde Rice actuaba. Según algunos relatos, el hombre tenía una pierna torcida y un hombro deforme. Estaba cantando sobre Jim Crow, y puntuando cada estrofa con un pequeño salto. Según Edmon S. Conner, un actor que trabajó con Rice al principio de su carrera, el supuesto encuentro ocurrió en Louisville, Kentucky. Conner y Rice se comprometieron para una temporada de verano en el teatro de la ciudad, que en la parte posterior daba a un establo de librea. Un esclavo anciano y deforme que trabajaba en el patio del establo a menudo interpretaba una canción y un baile que había improvisado para su propia diversión. Los actores lo vieron, y Rice » lo observó de cerca, y vio que había un personaje desconocido en el escenario. Escribió varios versos, cambió un poco el aire, lo aceleró mucho, se inventó exactamente como papá, y lo cantó a un público de Louisville. Eran salvajes de placer…»Según Conner, la caballeriza era propiedad de un hombre blanco llamado Cuervo, cuyo nombre adoptó el esclavo anciano.
Una explicación más probable detrás del origen del personaje es que Rice había observado y absorbido canciones y bailes tradicionales afroamericanos durante muchos años. Creció en un barrio racialmente integrado de Manhattan, y más tarde Rice recorrió los estados esclavistas del Sur. Según las reminiscencias de Isaac Odell, un ex juglar que describió el desarrollo del género en una entrevista concedida en 1907, Rice apareció en el escenario de Louisville, Kentucky, en la década de 1830 y aprendió a imitar el discurso negro local: «Al llegar a Nueva York, abrió en el Teatro Old Park, donde introdujo su acto de Jim Crow, haciéndose pasar por un esclavo negro. Cantó una canción, «Me doy vuelta y rueda», y cada noche compuso nuevos versos para ella, entendiendo al público y haciéndose un gran nombre.»