înainte de formarea Comitatului Anderson, Tennessee, acel teritoriu era inițial teren a ceea ce astăzi se numește banda estică a indienilor Cherokee, care fusese stabilit de mai multe familii de pionieri, inclusiv Wallace, Gibbs, Freels, Frost și Tunnell familii. Deși tratatul de la Holston, semnat în 1791, a fost conceput ca o negociere cu Cherokee pentru a interzice așezarea zonei, inclusiv ceea ce este astăzi Județul Anderson, tratatul a devenit ineficient pe măsură ce mai mulți coloniști s-au mutat prin Munții Appalachian din Virginia și Carolina de Nord în Tennessee. Inundarea coloniștilor albi în domeniul Indian a fost cauza mai multor lupte, care s-au ușurat după Tratatul de la Tellico în 1798 (cu un punct de origine pentru pământul renunțat de la Cherokee fiind Tellico Blockhouse) a permis o mai mare ușurință în soluționarea zonei.
Comitatul Anderson a fost împărțit dintr-o porțiune din comitatul Grainger, Tennessee, precum și o porțiune din comitatul Knox, Tennessee, în 1801; vecin Județul Roane, Tennessee, a fost format și dintr-o porțiune din comitatul Knox, Tennessee, în 1801, făcând județele Anderson și Roane numite efectiv județe surori. Comitatul Anderson a fost numit în onoarea lui Joseph Anderson (1757-1847), care era la acea vreme senator american din Tennessee și a cărui carieră includea și judecător al Curții Superioare a teritoriului de la sud de râul Ohio și controlor al Trezoreriei SUA.
ca multe județe din Tennessee de Est, locuitorii județului Anderson s-au opus în mare măsură secesiunii în ajunul Războiului Civil. La 8 iunie 1861, Anderson Countians a votat împotriva Ordonanței de secesiune din Tennessee, 1.278 la 97.construcția barajului Norris, primul baraj construit de Tennessee Valley Authority, a adus schimbări majore județului în anii 1930.aproximativ 2900 de familii au fost relocate din terenurile de rezervor din Anderson și județele din apropiere în timpul construcției, care a început în 1933 și a fost finalizată în 1936. Orașul Norris a fost inițial construit ca o comunitate planificată pentru a găzdui muncitorii implicați în construcția acestui baraj. Ca urmare a finalizării și funcționării barajului, temperatura albiei râului Clinch din aval s-a schimbat, astfel încât o fostă industrie a perlelor care a avut succes de mulți ani s-a evaporat pe măsură ce midii, odată predominanți în râu, nu au fost capabili să susțină viața în climatul schimbat.
în timpul celui de-al Doilea Război Mondial, Proiectul Manhattan al guvernului federal a adus mai multe schimbări județului, inclusiv strămutarea mai multor familii și fondarea Oak Ridge.
Muzeul Appalachia din Norris comemorează pionierii și viața rurală din ultimele decenii în județul Anderson și în regiunea înconjurătoare. Este, de asemenea, un magazin de antichități care vinde artefacte din vremurile primilor coloniști până în vremurile războiului Coal Creek