Antes de la formación del Condado de Anderson, Tennessee, ese territorio era inicialmente tierra de lo que hoy se llama la Banda Oriental de Indios Cheroqui, que había sido colonizada por varias familias pioneras, incluidas las familias Wallace, Gibbs, Freels, Frost y Tunnell. Aunque el Tratado de Holston, firmado en 1791, pretendía ser una negociación con los Cheroqui para prohibir el asentamiento de la zona, incluido lo que hoy es el Condado de Anderson, el tratado se volvió ineficaz a medida que más colonos se movían a través de los Montes Apalaches desde Virginia y Carolina del Norte hasta Tennessee. La inundación de colonos blancos en el dominio indio fue causa de varias escaramuzas, que se aliviaron después del Tratado de Tellico en 1798 (con un punto de origen para la tierra cedida de los Cherokee siendo la Casa de Bloques de Tellico) permitió una mayor facilidad en el asentamiento del área.
El Condado de Anderson se dividió de una parte del Condado de Grainger, Tennessee, así como de una parte del Condado de Knox, Tennessee, en 1801; el vecino Condado de Roane, Tennessee, también se formó de una parte del Condado de Knox, Tennessee, en 1801, haciendo que los condados de Anderson y Roane se llamaran efectivamente «condados hermanos». El Condado de Anderson fue nombrado en honor de Joseph Anderson (1757-1847), que en ese momento era senador de los Estados Unidos por Tennessee, y cuya carrera también incluyó juez de la Corte Superior del Territorio al sur del río Ohio y Contralor del Tesoro de los Estados Unidos.
Al igual que muchos condados del este de Tennessee, los residentes del condado de Anderson se opusieron en gran medida a la secesión en vísperas de la Guerra Civil. El 8 de junio de 1861, Anderson Countians votó en contra de la Ordenanza de Secesión de Tennessee, 1.278 a 97.
La construcción de la Presa Norris, la primera presa construida por la Autoridad del Valle de Tennessee, trajo cambios importantes al condado en la década de 1930. Aproximadamente 2900 familias fueron reubicadas de las tierras del embalse en Anderson y los condados cercanos durante la construcción, que comenzó en 1933 y se completó en 1936. La ciudad de Norris se construyó inicialmente como una comunidad planificada para albergar a los trabajadores involucrados en la construcción de esta presa. Como resultado de la finalización y operación de la presa, la temperatura del lecho del río Clinch aguas abajo cambió, de modo que una antigua industria de perlas que había tenido éxito durante muchos años se evaporó ya que los mejillones, una vez prevalentes en el río, no pudieron sostener la vida en el clima cambiado.
Durante la Segunda Guerra Mundial, el Proyecto Manhattan del gobierno federal trajo más cambios al condado, incluido el desplazamiento de más familias y la fundación de Oak Ridge.
El Museo de los Apalaches en Norris conmemora la vida pionera y rural de las últimas décadas en el condado de Anderson y la región circundante. También es una tienda de antigüedades que vende artefactos desde los tiempos de los primeros colonos hasta los tiempos de la Guerra de Coal Creek