Avant la formation du comté d’Anderson, Tennessee, ce territoire était initialement la terre de ce qu’on appelle aujourd’hui la Bande Orientale des Indiens Cherokee, qui avait été colonisée par plusieurs familles de pionniers, dont les familles Wallace, Gibbs, Freels, Frost et Tunnell. Bien que le traité de Holston, signé en 1791, ait été conçu comme une négociation avec les Cherokee pour interdire la colonisation de la région, y compris ce qui est aujourd’hui le comté d’Anderson, le traité est devenu inefficace à mesure que de plus en plus de colons traversaient les Appalaches de la Virginie et de la Caroline du Nord vers le Tennessee. L’inondation des colons blancs dans le domaine indien a été la cause de plusieurs escarmouches, qui se sont atténuées après le traité de Tellico en 1798 (avec un point de départ pour les terres cédées aux Cherokee étant le blockhaus de Tellico) a permis une plus grande facilité dans la colonisation de la région.
Le comté d’Anderson a été divisé d’une partie du comté de Grainger, Tennessee, ainsi que d’une partie du comté de Knox, Tennessee, en 1801; le comté voisin de Roane, Tennessee, a également été formé d’une partie du comté de Knox, Tennessee, en 1801, faisant des comtés d’Anderson et de Roane effectivement appelés « comtés frères ». Le comté d’Anderson a été nommé en l’honneur de Joseph Anderson (1757-1847), qui était à l’époque sénateur américain du Tennessee, et dont la carrière comprenait également juge de la Cour supérieure du Territoire au sud de la rivière Ohio et Contrôleur du Trésor américain.
Comme de nombreux comtés de l’Est du Tennessee, les habitants du comté d’Anderson étaient largement opposés à la sécession à la veille de la guerre de Sécession. Le 8 juin 1861, les Countiens d’Anderson votèrent contre l’Ordonnance de sécession du Tennessee, par 1 278 voix contre 97.
La construction du barrage Norris, le premier barrage construit par la Tennessee Valley Authority, a apporté des changements majeurs au comté dans les années 1930. Environ 2900 familles ont été déplacées des terres du réservoir d’Anderson et des comtés voisins pendant la construction, qui a commencé en 1933 et s’est achevée en 1936. La ville de Norris a été initialement construite comme une communauté planifiée pour loger les travailleurs impliqués dans la construction de ce barrage. À la suite de l’achèvement et de l’exploitation du barrage, la température du lit de la rivière Clinch en aval a changé, de sorte qu’une ancienne industrie perlière qui avait réussi pendant de nombreuses années s’est évaporée car les moules, autrefois répandues dans la rivière, n’étaient pas en mesure de soutenir la vie dans le climat modifié.
Pendant la Seconde Guerre mondiale, le projet Manhattan du gouvernement fédéral a apporté plus de changements au comté, y compris le déplacement de plus de familles et la fondation d’Oak Ridge.
Le musée des Appalaches à Norris commémore la vie pionnière et rurale des dernières décennies dans le comté d’Anderson et la région environnante. C’est aussi un magasin d’antiquités qui vend des artefacts de l’époque des premiers colons à l’époque de la guerre de Coal Creek