L’ancêtre du piolet était l’alpenstock, un long poteau en bois avec une pointe de fer, utilisé par les bergers pour voyager sur les champs de neige et les glaciers des Alpes depuis le Moyen Âge. Le 8 août 1786, Jacques Balmat et Michel-Gabriel Paccard réalisent la première ascension du Mont Blanc. Balmat, chasseur de chamois et collectionneur de cristaux, avait de l’expérience dans les voyages en haute montagne, et Paccard avait déjà tenté de gravir le sommet. Les illustrations montrent Balmat portant deux outils distincts qui seraient plus tard fusionnés dans le piolet – un alpenstock (ou bâton) et une petite hache qui pourrait être utilisée pour couper les marches sur les pentes glacées.
Selon le premier fabricant de piolets, Grivel, ces deux outils ont été fusionnés pour créer le premier véritable piolet vers 1840. Les premiers piolets avaient une arête verticale, avec le tranchant aligné avec la direction de l’arbre, comme dans une hache conventionnelle. Cette conception a duré au moins jusqu’en 1860, mais finalement l’adze a été tourné à la position actuelle, perpendiculaire à la direction de l’arbre. Le Club alpin italien a publié en 1889 un livre intitulé Fiorio e Ratti – Les dangers de l’alpinisme et les règles pour les éviter, qui recommandait les piolets parmi « les compagnons inséparables de l’alpiniste ».
À la fin du 19e siècle, le piolet typique mesurait 120-130 cm (47-51 po) de longueur. Le grimpeur britannique Oscar Eckenstein a lancé la tendance vers des piolets plus courts avec un modèle plus léger mesurant 85-86 cm (33-34 po). Initialement, cette innovation a été critiquée par des alpinistes bien connus de l’époque, dont Martin Conway, un membre éminent du Club alpin, qui a dirigé une première expédition dans la région du Baltoro près du K2 en 1892, dont Eckenstein était membre.
Les premiers piolets avaient des pics et des adzes de longueurs à peu près égales. Au début du 20ème siècle, le pic s’allongeait à environ deux fois la longueur de l’adze. L’amélioration de la conception des crampons (lancée par Eckenstein en 1908) et de la technique d’escalade sur glace a conduit à l’utilisation de piolets plus courts et plus légers adaptés aux montées de glace plus raides dans la période entre les deux guerres mondiales.
Un sauvetage célèbre impliquant un piolet a eu lieu lors de la Troisième expédition américaine du Karakoram au K2 en 1953. L’un des grimpeurs, Art Gilkey, a été frappé d’incapacité par une thrombophlébite. Les autres alpinistes ont tenté de le sauver en le faisant descendre de la montagne à l’aide d’une corde, enveloppé dans un sac de couchage. Alors qu’il traversait une calotte glaciaire abrupte, une glissade a provoqué la chute de Gilkey et de cinq autres alpinistes sur une pente raide. L’alpiniste Pete Schoening a coincé son piolet le long d’un rocher et a réussi à assurer les grimpeurs cordés, leur sauvant la vie. (Gilkey, cependant, plus tard dans la même descente, a été emporté par une avalanche. Les restes de son cadavre perdu ont été découverts en 1993.) Le piolet de Schoening est maintenant exposé au Bradford Washburn American Mountaineering Museum à Golden, Colorado.
En 1966, Yvon Chouinard a mené une refonte importante des piolets, travaillant avec le fabricant Charlet, initialement réticent, pour développer un piolet de 55 centimètres de long (22 po) avec un pic fortement incurvé. Chouinard croyait qu' » une courbe compatible avec l’arc de balancement de la hache permettrait au piquet de mieux rester en place dans la glace. J’avais remarqué qu’un choix standard sortait souvent lorsque je plaçais mon poids dessus. »L’idée de Chouinard a fonctionné et a commencé une période d’innovation dans la conception de piolets.
En 1978, la Commission de sécurité de l’Union Internationale des Associations d’Alpinisme (UIAA) a établi des normes formelles pour la sécurité et la performance des piolets. Cela a conduit au remplacement de l’arbre en bois traditionnel par des arbres en alliage métallique. Les poignées ergonomiques incurvées se sont généralisées en 1986. L’utilisation d’alliages d’aluminium modernes a conduit à une réduction spectaculaire du poids de certains piolets. Un modèle maintenant sur le marché, la C.A.M.P. Corsa, ne pèse que 205 g (7,2 oz) avec un manche de 50 centimètres de long (20 po). Un expert a estimé que ce piolet léger était « idéal pour les déplacements sur glacier à faible angle », mais a déclaré qu’il avait « envie du poids solide et sûr d’une véritable hache de montagne en acier » dans des conditions alpines escarpées plus exigeantes.