劉邦打敗了英布，心情卻更加沉重。
路過故鄉沛縣時，劉邦決定留下來玩幾日。他在沛縣的行宮內舉行酒宴，把親友鄰裏全部召來一起飲酒，共敘舊情，歡笑作樂。這一天，酒喝到暢快處，劉邦感慨萬端，他從沛縣子弟中挑得一百二十名精壯的青年，讓他們當庭起舞，自己則慷慨擊築，自作一首歌，高聲唱道。
“大風起兮雲飛揚，威加海內兮歸故鄉，安得猛士兮守四方！”
唱到了忘情處，劉邦不顧自己的衰老與傷病，站起來又唱又跳，同時讓那些年輕人跟著自己學。這種表麵的狂歡反而觸動了劉邦心中的柔弱處，他的歌唱得越來越感傷，最後眼中流下幾行熱淚，說：“遊子悲故鄉，我雖然建都關中，等死後我的魂靈也會思念沛縣。”
劉邦授給沛縣人民的禮物是：免除縣中百姓的賦役，世世代代不予征收。
十多天後，劉邦準備辭別父老，說：“我帶來的人太多了，停留久了，恐怕你們的負擔太重。”他走的那天，沛縣人空城而出送行，劉邦也戀戀不舍，又留下來喝了三天酒。席間，有人提出來：“陛下雖然免了沛縣人民的賦稅，但豐邑的父老也盼著這事啊，希望陛下也憐憫他們。”
劉邦回答說：“豐邑是生我養我的地方，我怎麼也不會遺忘那裏。
隻是我對他們當年擁護雍齒而抗拒我之事，猶放不下。”父老們一聽都笑了，原來皇帝一直記仇啊。劉邦說出心中對家鄉的怨，反而輕鬆了許多，索性答應讓豐邑享受與沛縣一樣的待遇。
因為堂哥劉賈沒有兒子，劉邦將荊國改為吳國，封二哥劉仲的兒子劉濞為吳王。這個劉濞勇武強悍，很不像乃父。
劉邦在討伐英布時中流箭受傷，回到長安後又病倒了。事實上這次劉邦提出更換太子，他自己也沒有底氣，張良又幫他理清了利害關係，他就更加動搖，今見這個老好人放出狠話，忙順坡下驢說：“你不要這樣，我隻是開玩笑而已！”
叔孫通這個精於阿諛之人，也一反常態，言辭激烈地勸諫說：“從前晉獻公因為寵愛驪姬，廢黜太子，另立奚齊，造成晉國幾十年內亂，被天下人恥笑。秦國不早定扶蘇為太子，使趙高得以用奸詐手段立胡亥為皇帝，落了個宗廟滅絕，這是陛下親眼所見。如今太子仁孝，天下有目共睹。呂後又與陛下是患難夫妻，怎麼可以背棄？陛下一定要廢長而立幼，我願先受誅殺，以頸血塗地！”
劉邦本就被張良弄得不痛快，今又見這個老好人放狠話，知道廢立之事沒有希望了，忙說：“你不要這樣，我隻是開玩笑而已！”
叔孫通不依不饒，說：“太子，是國家的根本，根本一旦動搖，天下就會震動，怎麼能拿這事來開玩笑呢！”
這件事過後，劉邦徹底死了心，不再提廢立太子之事。正在這時，北方傳來捷報，叛將陳豨退守靈丘，被樊噲部斬殺。但劉邦高興不起來，因為樊噲同時還給他帶來了一個壞消息，他們在消滅陳豨的過程中，俘獲了陳豨的一名偏將，這名偏將交代，燕王盧綰與陳豨曾秘密來往。劉邦當時簡直懵了，盧綰是自己親如兄弟的鐵哥們兒啊，他難道也要背叛自己？他打算找盧綰回來問問。
劉邦的使者到了燕國，召盧綰回朝，盧綰心中有鬼，使了個老掉牙的招法，稱病不去。劉邦又派辟陽侯審食其與禦史大夫趙堯前去，一方麵是催促燕王上路，另一方麵順便查驗盤問燕王的左右隨從。
盧綰更加恐懼，躲藏起來。他的心腹勸他不必懼怕皇帝，皇帝無論如何不會對老友下狠心，但盧綰有自己的道理，他說：“不是劉氏族人而稱王的，隻有我和長沙王了。去年春季，朝廷殺了韓信全家，夏季又處死彭越，這都是呂後的主意。如今皇上病重，大權委托呂後。呂後這個婦人，一心想找事誅殺異姓王和大功臣。”
盧綰的這些話泄露了出去，審食其聽說後，回去詳細報告給劉邦。
劉邦很生氣，但也理解老友的擔憂。
可是，劉邦不久又得到了新的情報，據匈奴中來投降的人說，當初陳豨造反的時，派王黃向匈奴求救，而燕王盧綰也派出使臣張勝去匈奴那裏，試圖阻止匈奴人插手漢朝的內亂。張勝到達匈奴那裏，正好碰見原燕王臧茶的兒子臧衍，藏衍對他說：“先生您之所以受燕國的重用，是因為您熟悉匈奴的事務；燕國之所以能長期存在，是因為內地各諸侯屢次反叛，兵事連綿，久而不決。如今您為燕國考慮，想趕快滅掉陳豨等人；但是陳豨等人一被消滅，接下來也就該輪到燕國了，你們就將成為階下之囚。您應該建議燕王暫緩進攻陳豨，而與匈奴和好。這樣情況緩和，便可以長期在燕稱王；一旦漢廷有急變，也可以借外援保全本國。”張勝如醍醐灌頂，答應照做。