閼氏在冒頓枕邊吹風，說胡人不習慣中原風俗，得到了中原也守不住，而且漢朝皇帝為人英武，並非易取之徒，不如送個人情。冒頓擔心的倒不是劉邦所謂“有神”，而是匈奴盟軍王黃等部沒有按期抵達作戰地點，冒頓懷疑王黃和劉邦私下勾連，插自己背後一刀。出於這種考慮，冒頓決定暫時後退一步，讓軍隊閃出一條小路，放劉邦過去。
劉邦在漫天的大霧中非常狼狽地從白登山下逃出來，回到平城唉聲歎氣，冒頓這一巴掌抽得劉邦眼冒金光，好不難堪。劉邦想象得到，當韓信知道白登之圍的消息後，不定狂笑成什麼樣子了。
劉邦撿回一條老命，但匈奴勾連韓王信對中原造成的巨大軍事威脅卻絲毫沒有得到削弱。韓王信甘做冒頓的馬前卒，率軍在匈漢邊境進行襲擾，氣得劉邦大罵韓王信是條白眼狼。在劉邦看來，這兩個韓信沒一個好東西，成天給他找麻煩。
通過這場莫名其妙的白登之圍，劉邦總算認清了匈奴人的真正實力，如果冒頓果斷發起進攻，四十萬騎兵對付三十萬步兵，結果可想而知。雙方的野戰能力差距太大，劉邦也不敢再托大，而是聽從劉敬的建議，盡可能地避免和匈奴人發生戰爭，把注意力集中到內政上來。
劉邦所謂的內政，實際上還是如何鏟除異姓王之於朝廷威脅的問題。雖然韓信的問題已經基本解決，韓信在劉邦的嚴密監控下幾成廢人，但其他異姓王的存在依然讓劉邦睡難安枕，必須除掉。
劉邦堅持認為異姓王終究不如同姓王，即使私交再好也信不過，畢竟同姓王血出一脈，即使同姓王造反成功，天下依然姓劉。韓王信叛逃之後，劉邦立自己的兄長劉仲為代王，一步步地蠶食異姓王的地盤。
劉邦下一個目標是他的女婿——趙王張敖，張敖是劉邦好友張耳的兒子，襲承父位，又娶了劉邦的女兒魯元，但劉邦還是信不過他。漢七年（前200）十二月，劉邦從平城南下返回關中時，特地路過趙國，去找張敖的麻煩。老丈人過境，張敖自然是好吃好喝好招待，對劉邦一臉奴才相，但劉邦還是借故大罵張敖，把張敖罵得差點沒哭出來。
劉邦想把張敖逼得狗急跳牆，讓劉邦抓住把柄，借機廢掉張敖。趙國舍人貫高、趙餘等人對劉邦的無賴行為實在看不下去，勸張敖發動兵變，除掉這個老無賴。張敖還算有良心，他知道他父親張耳能做趙王，全賴劉邦一人之力，做人不可以忘本。張敖拒絕了他們這個非常危險的請求，但貫高還是私下準備刺殺劉邦，所幸劉邦似乎察覺到了一絲不安，提前離開。
劉邦很快就從貫高的仇人那裏得到了這個絕密計劃，劉邦震驚之餘狂喜不已，鏟除張敖，就在今日。漢九年（前198）十二月，劉邦痛下辣手，抓捕趙王張敖及涉案諸人，嚴刑拷問。雖然貫高對張敖忠貞不貳，絕不把禍水引向張敖，但劉邦還是借此事揪住張敖往死裏打。
呂雉想替女婿說句好話，說張敖有我們女兒監視著，應該不會謀反，劉邦厲聲痛罵：“你懂個屁！如果張敖謀反成功，據萬裏天下，他還缺少美女嗎？到時你女兒在他眼裏什麼都不是！”
劉邦不是傻子，貫高對張敖的忠誠足以證明張敖對他的忠誠，劉邦不過是借題發揮而已。雖然劉邦沒殺張敖，但卻廢掉張敖的王爵，改封宣平侯，改立自己最疼愛的小兒子劉如意為趙王。因為劉如意年齡太小，不足以親政，加上防範呂雉對其下毒手的原因，劉邦以禦史大夫周昌為趙國相。
宋人司馬光說貫高的行為是導致張敖被廢的主要原因，其實有沒有貫高的出現，劉邦都要拿下張敖。在異姓王的問題上，無論劉邦扯出什麼花招，最終的結果一定是同姓王接替異姓王。劉邦做人非常狡猾，他不殺貫高，反稱貫高為義士，重用忠於張敖的臣屬，就是想用貫高來遮掩自己在異姓王問題上的暗箱操作，並借此在自己的老臉上塗脂沫粉。
異姓王之於朝廷的威脅是一個秦始皇已經初步解決，但因為戰亂又死灰複燃的曆史遺留問題，劉邦出於家天下的考慮打擊異姓王固然可以理解，但手段未免太過狠辣。曆代開國帝王解除異姓功臣兵權，隻有手段的差異，沒有結果的差異。
東漢劉秀和北宋趙匡胤之所以能以和平手段解決這個問題，原因於他們本人在打天下的過程中本就功高蓋世，諸將威望皆不如皇帝。而劉邦的軍事能力是公認的短板，特別是韓信的出現，是劉邦能戰勝項羽的最重要因素，還有彭越、韓王信，都是有功的。所以劉邦很少采取軍事手段，而是以政治手段連拐帶騙。現在韓信被劉邦騙得傾家蕩產，張敖也差點沒被老嶽父整死。