John Vernou Bouvier III blev født i East Hampton i 1891. Hans kaldenavn,” Black Jack”, henviste til hans evigt mørkbrune hud og hans flamboyante livsstil.Bouviers oldefar, Michel Bouvier, var en fransk møbelsnedker fra Pont-Saint-Esprit i den sydlige Provence-region. Michel immigrerede til Philadelphia i 1815 efter at have kæmpet i Napoleonskrigene, arbejdede for Joseph Bonaparte, giftede sig, blev enke og giftede sig derefter med Louise Clifford Vernou.
ud over at lave fine møbler havde Michel Bouvier en virksomhed, der distribuerede brænde. For at støtte denne forretning erhvervede han store skovområder, hvoraf nogle indeholdt en stor reserve af kul. Michel voksede yderligere sin formue i ejendomsspekulation. Hans Sønner, Eustes, Michel Charles (M. C.) og John V. Bouvier Sr., udmærkede sig i finansverdenen. De overlod deres formuer til deres eneste tilbageværende mandlige Bouvier-arving, Major John Vernou Bouvier Jr., der brugte nogle af pengene til at købe en ejendom kendt som Lasata i East Hampton, Long Island.Major John Vernou Bouvier, Jr. (født 1866), en succesrig advokat, og Maude Frances Sergent (født 1869) havde fem børn, hvoraf John Vernou Bouvier III var den ældste. Deres andre børn var sergent ” Bud ” Bouvier, der blev født i 1893 og døde af alkoholisme i 1929; Edith Bouvier Beale, der blev født i 1895 og blev hustru til Phelan Beale, Sr. og mor til Edith Bouvier Beale, Phelan Beale, Jr.og Bouvier Beale; og tvillingerne Maude Reppelin Bouvier Davis og Michelle Caroline Bouvier Scott Putnam (født 1905).
John Vernou Bouvier III gik på Philips Academy og Columbia Grammar & forberedende skole. Han studerede derefter ved Columbia College, hans fars alma mater, hvor han spillede tennis i to år, før han blev overført til Sheffield Scientific School ved Yale University. Mens han deltog i Yale, var han medlem af Book and Snake secret society og The Cloister Club. Han tog eksamen i 1914.