Arkeologiske funn viser at det budde folk i traktene rundt Norsjø og vassdraga allereie i yngre steinalder. 250 gravminne og 40 gravfunn er registrerte i kommunen. Langs strendene i Norsjø ligg mange gravhaugar og gravrøyser frå bronsealderen og framover.

Litt om bygdeborgene:

I Sauherad er det fleire bygdeborger. I Bygdebok for Sauherad band III, side 135-136 er det omtala tri bygdeborger:

Oppe mellom Borgarås og Kringsås stig den stupbratte og særmerkte Brattningsborg opp nord for Sauaråo med den kjende bygdeborga på toppen. Namnet får ein til å minnast kvadet om Sigurd svein som rei "allum dagin" og ”kom seg på Greipargarden der Brattningsborgi sto". Også kvadet om Sigurd Fåvnesbane er frå 500-talet.

På Borgarås låg den andre borga i grenda. 

I Vegheimsgrenda ligg bygdeborga på toppen av Steinsborg, ein ås sud-aust for sjølve Vegheimsfjellet."

Dei tri bygdeborgene gjev ein konkret bakgrunn for det me kan slutte oss til om tilhøva i området på 400- og 500-talet. Så mange som tri bygdeborger i eit heller lite område fortel at det må ha vore ein relativt stor busetnad her alt den gongen. Ei lang utvikling ligg bak tilhøva på 500-talet, men bare få funn fortel om folk i desse grendene i enda eldre tid.

I Bygdebok band II, side 599, er bygdeborga ved Hem omtala:

”Vest for garden reiser Blekksås seg med bratte lier mot toppen, der den gamle bygdeborga ligg."

Det er mogeleg at det er skrive meir om bygdeborgene i Sauherad andre stader i bygdebøkene eller i andre skrifter, men det er mykje historikarane ikkje kjenner til av bakgrunnen og bruken av bygdeborgene. Dei fleste er samde om at dei blei bygd i folkevandringstid i hundreåra fram til ca. år 500 e.Kr.

I vikingtida hørte bygdene rundt Norsjø til det gamle Grenland. Funn av romerske myntar og glasvarer viser at det tidleg var god kontakt med omverda. Vassdraget knytte den gongen Sauherad til havet og da blei forsvaret organisert ved at Lindheim skipreide blei oppretta i øvre enden av Norsjø.