John Vernou Bouvier III syntyi East Hamptonissa, New Yorkissa vuonna 1891. Hänen lempinimensä ”Black Jack” viittasi hänen jatkuvasti tummanruskeaan ihoonsa ja mahtipontiseen elämäntyyliinsä.
Bouvierin isoisoisä Michel Bouvier oli ranskalainen puuseppä Pont-Saint-Espritistä Provencen eteläpuolelta. Michel muutti Philadelphiaan vuonna 1815 taisteltuaan Napoleonin sodissa, työskenteli Joseph Bonaparten palveluksessa, meni naimisiin, jäi leskeksi ja meni sitten naimisiin Louise Clifford Vernoun kanssa.
hienojen huonekalujen askartelun lisäksi Michel Bouvierilla oli yritys jakaa polttopuita. Tämän liiketoiminnan tukemiseksi hän hankki suuria metsämaita, joista osa sisälsi suuren hiilivarannon. Michel kasvatti omaisuuttaan edelleen kiinteistöspekulaatioissa. Hänen poikansa Eustes, Michel Charles (M. C.) ja John V. Bouvier Sr. kunnostautuivat Wall Streetin finanssimaailmassa. He jättivät omaisuutensa ainoalle jäljellä olevalle miespuoliselle Bouvier-perijälleen, majuri John Vernou Bouvier Jr: lle, joka käytti osan rahoista ostaakseen lasata-nimisen kartanon East Hamptonissa, Long Islandilla.
majuri John Vernou Bouvier, Jr. (s. 1866), menestynyt asianajaja, ja Maude Frances kersantti (s. 1869) saivat viisi lasta, joista John Vernou Bouvier III oli vanhin. Heidän muut lapsensa olivat William kersantti ” Bud ” Bouvier, joka syntyi vuonna 1893 ja kuoli alkoholismiin vuonna 1929; Edith Ewing Bouvier Beale, joka syntyi vuonna 1895 ja josta tuli Phelan Beale Sr.: n vaimo ja Edith Bouvier Bealen Äiti, Phelan Beale Jr.ja Bouvier Beale; ja kaksoset Maude Reppelin Bouvier Davis ja Michelle Caroline Bouvier Scott Putnam (s. 1905).
John Vernou Bouvier III kävi Philips Exeter Academyn ja Columbia Grammarin & Preparatory Schoolia. Tämän jälkeen hän opiskeli Columbia Collegessa, isänsä alma materissa, jossa hän pelasi tennistä kaksi vuotta ennen siirtymistään Sheffieldin tieteelliseen kouluun Yalen yliopistoon. Opiskellessaan Yalessa hän oli kirja-ja Käärmesalaisuusseuran sekä Luostarikerhon jäsen. Hän valmistui vuonna 1914.