ennen Andersonin piirikunnan perustamista Tennesseessä kyseinen alue oli aluksi Cherokee-intiaanien itäisen ryhmän maata, johon oli asettunut useita uudisraivaajasukuja, kuten Wallace -, Gibbs -, Freels -, Frost-ja Tunnell-suvut. Vaikka sopimus Holston, allekirjoitettu vuonna 1791, oli tarkoitettu neuvottelu Cherokee kieltää ratkaisun alueella, mukaan lukien mitä on tänään Anderson County, sopimus tuli tehoton, kun enemmän uudisasukkaita muutti kautta Appalakkien vuoristossa Virginiasta ja Pohjois-Carolina Tennessee. Valkoisten uudisasukkaiden tulviminen Intiaanialueelle aiheutti useita kahakoita, jotka helpottivat Tellicon sopimuksen jälkeen vuonna 1798 (jossa cherokeiden luovuttamalle maa-alueelle oli tellicon korttelitalo), mikä helpotti alueen asettumista.
Andersonin piirikunta erotettiin osasta Graingerin piirikuntaa Tennesseessä sekä osasta Knoxin piirikuntaa Tennesseessä vuonna 1801; naapurimaa Roanen piirikunta Tennesseessä muodostettiin myös osasta Knoxin piirikuntaa Tennesseessä vuonna 1801, jolloin Andersonin ja Roanen piirikuntia alettiin kutsua ”sister countieseiksi”. Andersonin piirikunta nimettiin Joseph Andersonin (1757-1847) kunniaksi, joka oli tuohon aikaan Yhdysvaltain senaattori Tennesseestä, ja jonka uraan kuului myös Ohiojoen eteläpuolella sijaitsevan territorion ylioikeuden tuomari ja Yhdysvaltain valtiovarainministeriön tilintarkastaja.
monien Itä-Tennesseen piirikuntien tavoin Andersonin piirikunnan asukkaat vastustivat pääosin irtautumista sisällissodan kynnyksellä. Kesäkuun 8. päivänä 1861 Anderson Countians äänesti Tennesseen Eroamisasetusta vastaan äänin 1 278-97.
ensimmäisen Tennessee Valley Authorityn rakennuttaman padon rakentaminen aiheutti suuria muutoksia piirikuntaan 1930-luvulla. noin 2900 perhettä siirrettiin reservoir mailta Andersonin ja läheisten piirikuntien alueelta vuonna 1933 alkaneen ja vuonna 1936 valmistuneen rakentamisen aikana. Norrisin kaupunki rakennettiin alun perin suunnitelluksi yhdyskunnaksi padon rakentamiseen osallistuneiden työntekijöiden majoittamiseksi. Padon valmistumisen ja käytön seurauksena Clinch-joen alajuoksun lämpötila muuttui niin, että entinen helmiteollisuus, joka oli menestynyt monta vuotta, haihtui, kun joessa aikoinaan vallinneet simpukat eivät kyenneet ylläpitämään elämää muuttuneessa ilmastossa.
toisen maailmansodan aikana liittovaltion hallinnon Manhattan-projekti toi piirikuntaan lisää muutoksia, muun muassa useampien perheiden syrjäyttämisen ja Oak Ridgen perustamisen.
Appalakkien museossa Norrisissa muistellaan Andersonin piirikunnassa ja sitä ympäröivällä alueella menneiden vuosikymmenten pioneeri-ja maalaiselämää. Se on myös Antiikkikauppa, joka myy esineitä ensimmäisten uudisasukkaiden ajoilta Coal Creekin sodan ajoille