El antecedente del piolet fue el alpenstock, un largo poste de madera con una punta de espiga de hierro, utilizado por los pastores para viajar en campos de nieve y glaciares en los Alpes desde la Edad Media. El 8 de agosto de 1786, Jacques Balmat y Michel-Gabriel Paccard hicieron la primera ascensión al Mont Blanc. Balmat, un cazador de gamuzas y coleccionista de cristales, tenía experiencia en viajes de alta montaña, y Paccard había hecho intentos anteriores de escalar la cima. Las ilustraciones muestran a Balmat llevando dos herramientas separadas que luego se fusionarían en el piolet: un bastón de alpina (o bastón) y un hacha pequeña que se podría usar para cortar escalones en pendientes heladas.
De acuerdo con el primer fabricante de piolet, Grivel, estas dos herramientas se fusionaron para crear el primer piolet verdadero alrededor de 1840. Los primeros piolets tenían una azada vertical, con el filo alineado con la dirección del eje, como en un hacha convencional. Este diseño duró al menos hasta 1860, pero finalmente el azze se giró a la posición actual, perpendicular a la dirección del eje. El Club Alpino Italiano publicó un libro en 1889 titulado Fiorio e Ratti – Los peligros del montañismo y las reglas para evitarlos, que recomendaba los piolet como «los compañeros inseparables del montañero».
A finales del siglo XIX, el eje típico del piolet medía 120-130 cm (47-51 pulgadas) de longitud. El escalador británico Oscar Eckenstein comenzó la tendencia hacia piolets más cortos con un modelo más ligero de 85-86 cm (33-34 pulgadas). Inicialmente, esta innovación fue criticada por escaladores conocidos de la época, incluido Martin Conway, un miembro prominente del Club Alpino, que fue el líder de una expedición temprana a la región de Baltoro cerca del K2 en 1892 de la que Eckenstein era miembro.
Los piolets tempranos tenían picos y azes de aproximadamente la misma longitud. A principios del siglo XX, el pico se alargó a aproximadamente el doble de la longitud de la azuela. Las mejoras en el diseño de crampones (iniciadas por Eckenstein en 1908) y la técnica de escalada en hielo llevaron al uso de piolets más cortos y ligeros apropiados para subidas en hielo más empinadas en el período entre las guerras mundiales.
Un famoso rescate con un piolet tuvo lugar durante la Tercera Expedición Estadounidense de Karakórum al K2 en 1953. Uno de los escaladores, Art Gilkey, estaba incapacitado por tromboflebitis. Los otros escaladores intentaron rescatarlo bajándolo por la montaña con una cuerda, envuelto en un saco de dormir. Al cruzar una capa de hielo empinada, un resbalón hizo que Gilkey y otros cinco escaladores comenzaran a caer por una pendiente empinada. El escalador Pete Schoening encajó su piolet junto a una roca, y logró asegurar a los escaladores con cuerdas, salvando sus vidas. (Gilkey, sin embargo, más tarde en el mismo descenso fue arrastrado por una avalancha. Los restos de su cadáver perdido fueron descubiertos en 1993.) El piolet de Schoening está ahora en exhibición en el Bradford Washburn American Mountaineering Museum en Golden, Colorado.
En 1966, Yvon Chouinard lideró un rediseño significativo de los piolet, trabajando con el fabricante inicialmente reacio Charlet para desarrollar un piolet de 55 centímetros de largo (22 pulgadas) con una púa curva espectacular. Chouinard creía que » una curva compatible con el arco del balanceo del hacha permitiría que el pico permaneciera mejor en el hielo. Me había dado cuenta de que una púa estándar a menudo salía cuando ponía mi peso sobre ella.»La idea de Chouinard funcionó y comenzó un período de innovación en el diseño de piolet.
En 1978, la Comisión de Seguridad de la Unión Internacional de Asociaciones de Alpinismo (UIAA) estableció normas formales para la seguridad y el rendimiento de los piolet. Esto llevó a la sustitución del eje de madera tradicional por ejes de aleación de metal. Los mangos ergonómicamente curvos se generalizaron en 1986. El uso de aleaciones de aluminio modernas ha llevado a una reducción drástica en el peso de algunos piolets. Un modelo ahora en el mercado, el C. A. M. P. Corsa, pesa solo 205 g (7,2 oz) con un eje de 50 centímetros de largo (20 pulgadas). Un experto calificó a este piolet ligero como «ideal para viajes en glaciares de ángulo bajo», pero dijo que «anhelaba el peso sólido y seguro de un verdadero hacha de montaña de acero» en condiciones alpinas empinadas más exigentes.