Prima della formazione di Anderson County, Tennessee, quel territorio era inizialmente terra di quella che oggi è chiamata la Banda orientale degli indiani Cherokee, che era stata abitata da diverse famiglie pioniere tra cui le famiglie Wallace, Gibbs, Freels, Frost e Tunnell. Sebbene il Trattato di Holston, firmato nel 1791, fosse inteso come una trattativa con i Cherokee per proibire l’insediamento dell’area inclusa quella che oggi è la contea di Anderson, il trattato divenne inefficace poiché più coloni si spostarono attraverso i Monti Appalachi dalla Virginia e dalla Carolina del Nord al Tennessee. L’inondazione dei coloni bianchi nel dominio indiano fu causa di diverse schermaglie, che si attenuarono dopo il Trattato di Tellico nel 1798 (con un punto di origine per le terre cedute dai Cherokee essendo il Fortino di Tellico) consentì una maggiore facilità nell’insediamento dell’area.
La contea di Anderson fu divisa da una porzione della contea di Grainger, Tennessee, così come una porzione della contea di Knox, Tennessee, nel 1801; la vicina contea di Roane, Tennessee, fu anche formata da una porzione della contea di Knox, Tennessee, nel 1801, rendendo le contee di Anderson e Roane effettivamente chiamate ‘contee sorelle’. La contea di Anderson è stata chiamata così in onore di Joseph Anderson (1757-1847), che era a quel tempo senatore degli Stati Uniti dal Tennessee, e la cui carriera comprendeva anche giudice della Corte superiore del Territorio a sud del fiume Ohio e Controllore del Tesoro degli Stati Uniti.
Come molte contee del Tennessee orientale, gli abitanti della contea di Anderson erano in gran parte contrari alla secessione alla vigilia della guerra civile. L ‘ 8 giugno 1861, Anderson Countians votò contro l’Ordinanza di Secessione del Tennessee, 1.278 a 97.
La costruzione della diga di Norris, la prima diga costruita dalla Tennessee Valley Authority, ha portato grandi cambiamenti alla contea nel 1930. Circa 2900 famiglie sono state trasferite da reservoir terre in Anderson e contee vicine durante la costruzione, che ha avuto inizio nel 1933 e fu completata nel 1936. La città di Norris è stata inizialmente costruita come una comunità pianificata per ospitare i lavoratori coinvolti nella costruzione di questa diga. Come risultato del completamento e del funzionamento della diga, la temperatura del letto del fiume Clinch a valle è cambiata, così che un’ex industria delle perle che aveva avuto successo per molti anni è evaporata poiché le cozze, una volta prevalenti nel fiume, non erano in grado di sostenere la vita nel clima cambiato.
Durante la seconda guerra mondiale, il progetto Manhattan del governo federale portò ulteriori cambiamenti nella contea, incluso lo spostamento di più famiglie e la fondazione di Oak Ridge.
Il Museo di Appalachia a Norris commemora pioniere e la vita rurale dei decenni passati nella contea di Anderson e la regione circostante. È anche un negozio di antiquariato che vende manufatti dai tempi dei primi coloni ai tempi della guerra di Coal Creek