テネシー州アンダーソン郡が形成される前、その領土は当初、今日チェロキー族インディアンの東部バンドと呼ばれる土地であり、ウォレス、ギブス、フリールズ、フロスト、トンネルファミリーを含むいくつかの開拓者の家族によって開拓されていた。 1791年に締結されたホルストン条約は、現在のアンダーソン郡を含む地域の開拓を禁止するためにチェロキー族との交渉を意図していたが、アパラチア山脈を通ってバージニア州やノースカロライナ州からテネシー州に移住する開拓者が増えたため、この条約は無効となった。 1798年のテリコ条約（チェロキー族から土地を放棄した土地がテリコのブロックハウスであることを起源としている）の後、インディアン領域への白人開拓者の洪水はいくつかの小競り合いの原因となった。アンダーソン郡は1801年にテネシー州グレンジャー郡の一部とテネシー州ノックス郡の一部から分割され、隣接するローン郡も1801年にテネシー州ノックス郡の一部から形成され、アンダーソン郡とローン郡は事実上”姉妹郡”と呼ばれた。 アンダーソン郡の郡名は、当時テネシー州選出アメリカ合衆国上院議員だったジョセフ・アンダーソン（1757年-1847年）に因んで名付けられた。
多くの東テネシー郡と同様に、アンダーソン郡の住民は南北戦争の前夜に脱退に主に反対していた。 1861年6月8日、アンダーソン郡議会はテネシー州の脱退条例に反対票を投じ、1,278対97であった。
テネシー-バレー-オーソリティによって建設された最初のダムであるノリス-ダムの建設は、1930年代に郡に大きな変化をもたらし、建設中に約2900世帯がアンダーソン郡とその近くの郡の貯水池から移転され、1933年に始まり、1936年に完成した。 ノリスの町は当初、このダムの建設に関わる労働者を収容するための計画されたコミュニティとして建設されました。 ダムの完成と操業の結果、下流のクリンチ河床の温度が変化し、長年にわたって成功していた以前の真珠産業が蒸発し、かつて川で流行していたムール貝が変化した気候の中で生命を維持することができなかった。
第二次世界大戦中、連邦政府のマンハッタン計画は、より多くの家族の移住やオークリッジの設立など、郡に多くの変化をもたらしました。
ノリスのアパラチア博物館は、アンダーソン郡とその周辺地域における過去数十年の開拓者と農村生活を記念しています。 それはまた、石炭クリーク戦争の時代に最初の入植者の時代からの成果物を販売しているアンティークショップです