這樣的安寧並沒有維持多久，到了高祖七年（公元前181年）的九月，這個時候漢朝的大權全部掌握在呂後的手裏。這個呂後看南越不順眼了，她認為雖然南越王是漢高祖封的，但那隻是一個外臣國，不受朝廷的直接統治，因此一向不作為中原的諸侯看待。在呂後臨朝的第四年（公元前177年），想製伏南越的呂後就在長沙國通往南越國的地界上設立了關卡，嚴格檢查禁運的貨物。呂後下令：“禁止把銅和鐵以及農具賣給南越。就是賣給他們馬牛羊的時候，也隻能賣給他們公的，不給母的。”
這下把趙佗給氣得啊，但吃總歸要吃吧，勞作也總歸要勞作吧。
趙佗有求於人，沒辦法，隻好三次打發人專程去向漢朝上奏章，承認過錯，請求通好。沒想到漢朝這次更絕，直接扣留了南越的三個使者：內史藩、中尉高和禦史千。
趙佗和漢朝翻了臉，這麼一翻臉就開始了南越和漢朝的悲歡離合，在這其中，趙佗也經曆了鬧翻再和好、和好再鬧翻的種種經曆，活脫脫就像一對吵架的小兩口。
南越在漢初是百越中文化最先進的、與漢文化融合最好的一個外臣國。地域在東南各小國中最大，東西數千裏，後擴大到萬餘裏。也正是這塊最大蛋糕的鮮美其實讓誰都垂涎三尺，但誰都沒有輕舉妄動。
漢朝初期的時候，漢朝卻不斷在咳嗽著，像一個暮年的老頭，虛弱的西漢在那個時候是沒有力量去進攻南越的，所以，一個詞就應運而生了——“安撫”。
這個詞完全是撐麵子的一個詞語，其實就是帶有政治妥協性質的政策，正是漢朝這個政策使南越獲得了一個生存和發展的機遇。
但漢朝始終沒有忘記有這麼一塊地方，到了漢武帝劉徹的時候，由於國內經濟搞得好，西漢GDP猛增，而且當時還削弱了各個諸侯王的勢力，加強了中央集權，更是擺平了不可一世的匈奴，徹底解除了匈奴對西漢八九十年的致命威脅。從此，漢朝可以調動全國的軍事力量傾國南下，再也沒有什麼後顧之憂，漢朝你大膽地往前走啊。
大漢國以前所未有的強勢傲視著周圍的小國。
屋漏偏逢連夜雨，倒黴就是這麼來的，還沒等劉徹親自下手，南越的領導幹部們就開始內訌了，上麵打，下麵亂，南越的政局越來越動蕩不安了。
自從南越國第一代王趙佗死後，接下來的繼位者都是平庸無能的，（巧的是這個趙佗和劉徹有一個相同的稱謂，號稱“南越武帝”）根本無力對抗強大的漢朝，南越對漢朝的依附性越來越強。
元鼎四年（公元前113年）的時候，劉徹令南越王趙興和太後入朝，這一次入朝，劉徹顯然是帶著很強的政治目的的。這次大家要談的買賣是收購。
來的太後是邯鄲人，入越前就曾與漢朝的使臣有段風月故事。所以，年輕的太後和年幼的趙興是非常願意內屬於漢朝的。但代表越人貴族勢力的丞相呂嘉極力反對“內屬”。
劉徹當然想不廢一兵一卒和平收購，於是他派了一個使臣和太後、南越王一起去說服呂嘉，呂嘉可不買漢朝的賬，於是起兵叛漢，殺了南越王趙興、太後和漢使，立趙建德為王。
公元前112年，南越國的內亂給了劉徹可乘之機，劉徹立刻發兵進攻南越。
這場戰爭並沒有持續多久，第二年的時候，劉徹就破了番禺。把南越故地分為九個郡，即：南海、蒼梧、鬱林、合浦、交趾、九真、日南、珠崖和儋耳。前六郡在今廣東、廣西境內，後三個郡在今越南境內。
也就是從這個時候，南越各地又歸入中國版圖。廣東、廣西兩地，自此一直沒有脫離中國版圖。
總之，南越的興亡，是與西漢的強弱緊密相連的。成敗興衰和分離聚合都是有原因的。曆史的奧秘也就在於此。
遠方的小國
早就說過，劉徹的野心大得很。
最早在建元六年（公元前135年）秋天，劉徹就已經和西南夷打起了交道。他派王恢出擊東越取勝以後，派番陽令唐蒙出使南越國。
在南越國的招待宴會上，唐蒙很奇怪地發現食物中有一種蜀郡出產的枸醬。唐蒙就問當時南越的官員這是怎麼來的。對方回答說：“是通過柯江用船運來的。”
對於這個答案，唐蒙並沒有接受，他心想，柯江西達黔中，距南越不下千裏，往來運輸哪有那麼容易？