一代霸主趙佗去世，由於他已達百歲高齡，太子趙始已經死去，其孫趙眜即位，趙眜對漢朝自稱“南越文王”，在南越國內自稱“南越文帝”。新君嗣位，四鄰難免蠢蠢欲動。屬國閩越王郢率先發難，趙眜考慮到國家不穩定，上書漢武帝處理此事。漢武帝對趙眜的做法頗為讚許，並派遣大行令王恢、大農令韓安國率兵分別從豫章郡、會稽郡前往討伐閩越，此時，郢的弟弟餘善就發動叛變，殺死了郢，投降了漢朝。漢武帝隨後將閩越國一分為二，立前任閩越王無諸的孫子醜為越繇王，立餘善為東越王。（遙想當年勾踐複仇後，子孫互相征伐，好大喜功，最終被楚國攻滅，越國分裂為幾個小國，如今勾踐的子孫重蹈覆轍，令人感慨）
原本自己的屬國歸了漢，老實的趙眜不僅表達了感謝，還打算去長安朝見漢武帝，最後大臣以趙佗遺訓相勸，趙眜才以生病為借口，十多年都沒有去長安，其子趙嬰齊則去長安宮廷充當警衛。
同時，唐蒙出使南越時，在當地特長蛇羹中嚐到了一味特別的佐料——杞醬，杞醬出產於蜀軍，南越又從何而來。仔細一打聽，唐蒙發現蜀郡至夜郎，再從牂柯江乘船而下，可以直達番禺。唐蒙上書漢武帝，請求在夜郎征集十萬精兵，乘船沿牂柯江而下，可出奇兵攻打南越國。漢武帝同意了唐蒙的請求，任他為郎中將，帶領一千士兵和許多的糧食輜重從巴符關進入夜郎，勸說夜郎侯多同歸屬漢朝，夜郎及其附近的城邑因為受到唐蒙帶來的厚禮，於是都同意歸屬漢朝，漢朝在夜郎設置了犍為郡。南越複斷一臂。
轉眼間，趙眜病重，趙嬰齊請求回國，趙嬰齊在沒去長安前，曾娶了個越人女子為妻，生子趙建德，去了長安後，又邯鄲樛家的女兒做妻子，生兒子趙興。趙嬰齊繼位後，妻子樛氏為王後，趙興為太子，廢長立幼，為日後滅亡埋下了禍根。
趙嬰齊是個暴君，也以生病為借口，一直未去長安，隻派遣兒子趙次公去長安當警衛。幾年後，趙嬰齊病死，太子趙興繼位，其母樛氏成為太後。此時，漢武帝派遣能言善辨的諫大夫終軍、勇猛之人魏臣等輔助安國少季出使南越，要求南越王比照內諸侯朝拜天子。
樛氏年輕時與安國少季私通，此時舊情複燃，一心促成此事。當時南越國實權掌握在丞相呂嘉手裏，呂嘉從趙眜、趙嬰齊一直到趙興均由其輔佐，為三代老丞相。他的宗族在南越當官的有70多人，與南越王室有聯姻。
樛氏設計宴請呂嘉，並想在酒席上借漢使之手除掉呂嘉。隻是呂嘉之弟正陳兵宮外，安國少季不敢動手，樛氏用鐵矛擲擊，被趙興攔住。
脫險後的呂嘉向國人稱，趙興太年輕，樛太後是中原人，又與漢朝使者有奸情，一心想歸屬漢朝，想把隨從去長安的越人賣給漢人為奴，不顧及南越國的社稷，隻顧及漢朝皇帝的恩寵。隨後呂嘉和他弟弟領兵攻入王宮，殺死了趙興、樛太後和漢朝的使者。
此後趙建德繼位，並用計將漢朝韓千秋的軍隊擊敗，把漢朝使者的符節用木匣裝好，並附上一封假裝向漢朝謝罪的信，置於漢越邊境上，同時派兵在南越邊境的各個要塞嚴加防守。
漢武帝大怒，派遣罪人和江淮以南的水兵共10萬人，兵分五路進攻南越。第一路任命路博德為伏波將軍，率兵從桂陽沿湟水直下。第二路任命主爵都尉楊仆為樓船將軍，從豫章郡過橫浦關沿湞水直下。第三路和第四路任命兩個歸降漢朝的南越人鄭嚴和田甲分別為戈船將軍和下厲將軍，率兵從零陵出發，然後鄭嚴的軍隊沿漓水直下，田甲的軍隊則直抵蒼梧。第五路以馳義侯何遺利用巴蜀的罪人和夜郎的軍隊，直下牂柯江。與此同時，東越王餘善也向漢武帝上書請戰，並派兵8000人協助楊仆進攻南越國，但東越王的軍隊行至揭陽時，便借口遇上風浪而不再前進，還暗中派使者向南越國報信。
這年冬天，楊仆搶先攻下尋峽，然後攻破番禺城北的石門，繳獲了南越國的戰船和糧食，向南推進，挫敗南越國的先頭部隊，率領數萬大軍等候路博德的軍隊。路博德率領被赦的罪人，路途遙遠，與楊仆會師時才到了一千多人，於是一同進軍。楊仆率軍隊在前邊，一直攻到番禺，趙建德和呂嘉都在城中固守。楊仆選擇有利的地形，將軍隊駐紮在番禺的東南麵，天黑之後，楊仆率兵攻進番禺城，放火燒城。路博德則在城西北駐軍，派使者招降南越人，南越人久聞路博德的威名，於是紛紛投奔路博德的旗下，黎明時分，城中的南越國守軍大部分已向路博德投降。
呂嘉和趙建德見形勢不妙，在天亮之前率領幾百名部下出逃，乘船沿海往西而去。路博德在詢問了投降的南越人之後，才知呂嘉和趙建德的去向，並派兵追捕他們。最後，趙建德被路博德的校尉司馬蘇弘擒獲，而呂嘉被原南越國郎孫都擒獲。呂嘉和趙建德被擒之後，南越國屬下各郡縣包括蒼梧王趙光，桂林郡監居翁，揭陽縣令史定等皆不戰而向漢朝投降。鄭嚴和田甲的軍隊，以及何遺調動的夜郎軍隊還未到達，南越國已經被平定了。這樣，由趙佗創立的南越國經過93年、五代南越王之後，終於被漢朝消滅了。