《史記·南越列傳》記載，公元前221年，秦王朝統一了中國北半部。公元前214年，秦王朝發兵“乃平越地”。秦始皇曾動用50萬大軍，以卒鑿渠而通糧道，以與越人戰，殺西嘔（甌）君譯於宋”。這是《淮南子·人間訓》中記載的一段史實。秦兵從北方南侵，在西甌（今廣西桂林一帶）與“駱越”人大戰。這場大戰打得相當艱苦，秦兵三年不解弓甲，棄屍數以十萬計，生靈慘遭塗炭。
一方麵是漢民族入侵帶來的戰爭和屠殺，另一方麵百越人不同種族之間亦時有衝突。在這內外矛盾衝突中，公元前200年到公元前140年間，東甌的百越人被楚越人打敗，東甌人“敗走南山”，遷移到現在的浙南和閩北一帶，他們的到來不僅與當地世居的東越人再度爆發戰爭，同時他們內部為爭權奪利，也各自稱王，自相殘殺。
秦王朝將百越區域劃入中國版圖，但戰爭帶來的統一，無法解決民族矛盾。秦漢相交之年，再發戰爭，社會動亂，被征服的百越人趁勢反抗。公元前112年，漢武帝派10萬大軍南征百越之地，大獲全勝。之後，西漢王朝也曾多次派兵從湖南逾嶺攻打百越之地。《史記》說：“漢誅西南夷，國多滅矣。”
百越民族整個的消亡，還與當時漢朝政府的移民政策有關。漢朝統治者知道，一味地舉兵鎮壓，並非長治久安的辦法，他們一方麵從北方將漢人大批遷往百越之地，另一方麵又將百越人遷往北方。打破了百越民族的區域。《史記·東越列傳》所載：“數反複，詔軍吏皆將其民徙處江淮之間，東越地遂虛。”
少數沒有遷移的東越人跑入深山，或避以海濱，留住下來，他們與當地土著漸漸融合成為東越族。
據研究，土著東越人的一部分逐漸演化為今天的佘族，也可以說，現在佘族同胞祖先的一部分，曾經是土著東越人的始祖。考古學家從貴州赫親“西南夷”墓葬特點，聯係曆史文獻和民俗學資料，推斷今天生活在貴州境內的水族、侗族、布依族，就是古越人的一支。
百越人構築“幹欄”的建築風格在長江以南地區多見於漢族和其他民族混居的地方，而在西南地區，尤其是在西南少數民族居住地，則隨處可見，很普遍。雲南傣族的竹樓、廣西壯族的麻欄、貴州布依族侗族的幹欄，都帶有古越遺風。“幹欄”建築還可以在海南省的黎族、台灣省的高山族同胞居住地找到它們的蹤跡。他們的住房已不采用“幹欄”構築，但他們的穀倉和糧垛仍采用“幹欄”風格。由此可見，他們同源於一個文化，或者說他們與曾十分流行“幹欄”建築的古越人，有著十分密切的聯係。
民族的分化、融合、重組，使百越民族的形象不再完整，變得支離破碎了，而原先的民族特點卻殘存於生活習俗中得以延續，讓我們今天仍能覓見它的影子。