de geologische geschiedenis van deze kristallen begon ongeveer 500 miljoen jaar geleden in een ondiepe zee die sedimenten ontving uit de oude Adirondack Mountains in het noorden. De sedimenten van calcium en magnesiumcarbonaat stapelden zich op en werden gelit tot het dolomietgesteente dat nu bekend staat als de Little Falls Formation en voorheen als de Little Falls Dolostone. Terwijl begraven, werden holten gevormd door zure wateren vormen de vugs waarin de kwartskristallen gevormd. Terwijl de dolomieteenheid Cambrium is, wordt het kwarts in de vugs geïnterpreteerd als gevormd tijdens de Carboon periode. Wasachtig organisch materiaal, siliciumdioxide en pyriet (ijzersulfide) was aanwezig als minder belangrijke bestanddelen van gesteente gemaakt van dolomiet en calciet. Toen sediment het gesteente begroef en de temperatuur steeg, groeiden kristallen in de holtes heel langzaam, wat resulteerde in kwartskristallen met een uitzonderlijke helderheid. In deze kristallen zijn insluitsels te vinden die aanwijzingen geven over de oorsprong van de Herkimer diamanten. Gevonden in de insluitsels zijn vaste stoffen, vloeistoffen (zout water of aardolie), gassen (meestal kooldioxide), twee – en drie-fase insluitsels, en negatieve (eenassige) kristallen. Een zwarte koolwaterstof is de meest voorkomende vaste opname.