尤其是平定英布叛亂回來之後，病勢更重，愈想更換太子。
張良勸過。
太子太傅叔孫通勸過：“當年，晉獻公因為驪姬廢太子，立奚齊，隨後晉國動亂了數十年，被天下所恥笑。秦沒有早早的立扶蘇，所以才讓趙高有機會詐立胡亥，最後秦也被滅國了，這是陛下親自參與見到過的。如今的太子仁孝，乃天下共知；呂後與陛下同甘共苦，如何背叛她！陛下一定要廢劉盈而立劉如意，臣願先伏誅，讓臣的頸血流在地上。“
而周昌更與劉邦極力爭辯，劉邦問他理由何在時，因為周昌有口吃的毛病，再加上情緒激動，口吃得更厲害了，他勸：“臣口不能言，然臣期期知其不可。陛下即使想要廢太子，臣期期不奉詔。”劉邦聽罷，很高興地笑了。
呂後在東廂側耳聽到了周昌對話，見到周昌時，跪謝說：“沒有您，太子就要廢了。”
但是依然無法改變劉邦想要改立太子的心。
呂雉隻好去找張良。
張良自然不是那麼好說話的。
更何況劉邦執意要換太子。
逼不得已，出此下策。
呂雉就派建成侯呂澤脅迫留侯張良。
“光靠口舌，是沒有用的。”張良還是願意給呂雉出出主意的，不過，這應當是最後一次了。
“求留侯明示。”呂雉一聽，那便是張良還有辦法的，稍稍感到心裏有些許安慰。
“呂後不必如此。不知呂後可聽說過‘商山四皓’？”
“‘商山四皓’？留侯說的可是東園公、甪裏先生、綺裏季和夏黃公？”
“‘商山四皓’都有八十多歲了，有氣節，清高，不願意就任漢朝爵位，隱居山林，皇上厚聘，他們仍不願來，但是仍然是“四皓”。太子若能夠用謙卑的話語，執意請“四皓”出山，出入宮廷，以“四皓”相隨，皇上一定會問並且知道是怎麼回事，他知道了，那麼太子之位便可以保住了。”
呂雉照做。
事情果然像張良說的那樣。
劉邦得知，伴隨太子的“四皓”就是自己多次請不來的隱士高人，如今為太子左右。
等到‘四皓’安閑的時候，劉邦設酒席，太子劉盈在一旁侍候。
那四人跟著太子，他們的年紀都已八十多歲，鬢眉潔白，衣冠美而奇。
劉邦感到奇怪，問道：“你們是誰？”
四個人向前對答，各自說出姓名，叫東園公、角裏先生、綺裏季、夏黃公。
劉邦大驚，說：“朕請四位來為朝廷效力，四位都避逃朕，如今四位為何願意跟從吾兒？”
這四人說：“陛下輕士善罵，臣等不願意來此受辱，故害怕而隱居。聽聞太子為人仁孝，恭敬愛士，天下沒有不伸長脖子願意為太子而死的人，故臣等來此。”
劉邦說：“煩請四位如一保護好太子吧。”
四人敬酒祝福結束，小步快走離去。
劉邦目送他們，召戚夫人過來，指著那“商山四皓”給她看，說道：“我願意換太子，這四人輔佐太子，太子羽翼豐滿，難以換太子了。呂後真而主矣。”
戚夫人不禁哭起來。
劉邦說：“為我跳楚舞，我為你唱楚歌。”
“鴻鵠高飛，一舉千裏。羽翮已就，橫絕四海。橫絕四海，當可奈何！雖有矰繳，尚安所施！”
他的心裏又何不是苦痛呢？
坐在九五至尊，天命所歸，卻無法左右誰來接替他的位置，連自己心愛的女人和兒子都保不住啊！