Hrabstwo Coffee zostało utworzone przez legislaturę Alabamy 29 grudnia 1841 roku z części hrabstwa Dale. Został nazwany na cześć generała Johna Coffee ’ ego, bohatera wojny w zatoce w latach 1813-1814. Hrabstwo Coffee położone jest w południowo-wschodniej części stanu i graniczy od północy z hrabstwem Pike, od wschodu z hrabstwem Dale, od południa z hrabstwem Geneva, a od zachodu z hrabstwami Covington i Crenshaw. Obejmuje ponad 680 mil kwadratowych. Pierwszą siedzibą hrabstwa było Wellborn.
Gmach sądu powiatowego został zniszczony przez pożar w 1851 roku, a w następnym roku ustawodawca zezwolił na przeprowadzenie wyborów w celu wyboru innego miejsca. Wybrano miasto Elba, zwane wówczas Bentonville. Obecnie Coffee County utrzymuje dwa dworki (Elba i Enterprise). Obecny budynek sądu w Elbie, zbudowany w 1903 roku, przetrwał powodzie z 1929 i 1990 roku. chociaż na ścianach pozostają wysokie plamy wody, budynek ten nadal służy zachodniemu podziałowi hrabstwa. W 1843 William Peoples pełnił funkcję pierwszego szeryfa hrabstwa Coffee.