漢十一年，黥布反，上病，欲使太子將，往擊之。四人相謂曰：「凡來者，將以存太子。太子將兵，事危矣。」乃說建成侯曰：「太子將兵，有功則位不益太子；無功還，則從此受禍矣。且太子所與俱諸將，皆嚐與上定天下梟將也，今使太子將之，此無異使羊將狼也，皆不肯為盡力，其無功必矣。臣聞『母愛者子抱』，今戚夫人日夜待禦，趙王如意常抱居前，上曰『終不使不肖子居愛子之上』，明乎其代太子位必矣。君何不急請呂後承間為上泣言：『黥布，天下猛將也，善用兵，今諸將皆陛下故等夷，乃令太子將此屬，無異使羊將狼，莫肯為用，且使布聞之，則鼓行而西耳。上雖病，彊載輜車，臥而護之，諸將不敢不盡力。上雖苦，為妻子自彊。』」於是呂澤立夜見呂後，呂後承間為上泣涕而言，如四人意。上曰：「吾惟豎子固不足遣，而公自行耳。」於是上自將兵而東，群臣居守，皆送至灞上。留侯病，自彊起，至曲郵，見上曰：「臣宜從，病甚。楚人剽疾，原上無與楚人爭鋒。」因說上曰：「令太子為將軍，監關中兵。」上曰：「子房雖病，彊臥而傅太子。」是時叔孫通為太傅，留侯行少傅事。
漢十二年，上從擊破布軍歸，疾益甚，愈欲易太子。留侯諫，不聽，因疾不視事。叔孫太傅稱說引古今，以死爭太子。上詳許之，猶欲易之。及燕，置酒，太子侍。四人從太子，年皆八十有餘，須眉皓白，衣冠甚偉。上怪之，問曰：「彼何為者？」四人前對，各言名姓，曰東園公，角裏先生，綺裏季，夏黃公。上乃大驚，曰：「吾求公數歲，公辟逃我，今公何自從吾兒遊乎？」四人皆曰：「陛下輕士善罵，臣等義不受辱，故恐而亡匿。竊聞太子為人仁孝，恭敬愛士，天下莫不延頸欲為太子死者，故臣等來耳。」上曰：「煩公幸卒調護太子。」
四人為壽已畢，趨去。上目送之，召戚夫人指示四人者曰：「我欲易之，彼四人輔之，羽翼已成，難動矣。呂後真而主矣。」戚夫人泣，上曰：「為我楚舞，吾為若楚歌。」歌曰：「鴻鵠高飛，一舉千裏。羽翮已就，橫絕四海。橫絕四海，當可柰何！雖有矰繳，尚安所施！」歌數闋，戚夫人噓唏流涕，上起去，罷酒。竟不易太子者，留侯本招此四人之力也。
留侯從上擊代，出奇計馬邑下，及立蕭何相國，所與上從容言天下事甚眾，非天下所以存亡，故不著。留侯乃稱曰：「家世相韓，及韓滅，不愛萬金之資，為韓報讎彊秦，天下振動。今以三寸舌為帝者師，封萬戶，位列侯，此布衣之極，於良足矣。原棄人間事，欲從赤鬆子遊耳。」乃學辟穀，道引輕身。會高帝崩，呂後德留侯，乃彊食之，曰：「人生一世間，如白駒過隙，何至自苦如此乎！」留侯不得已，彊聽而食。
後八年卒，諡為文成侯。子不疑代侯。
子房始所見下邳圯上老父與太公書者，後十三年從高帝過濟北，果見穀城山下黃石，取而葆祠之。留侯死，並葬黃石。每上塚伏臘，祠黃石。
留侯不疑，孝文帝五年坐不敬，國除。
太史公曰：學者多言無鬼神，然言有物。至如留侯所見老父予書，亦可怪矣。高祖離困者數矣，而留侯常有功力焉，豈可謂非天乎？上曰：「夫運籌筴帷帳之中，決勝千裏外，吾不如子房。」餘以為其人計魁梧奇偉，至見其圖，狀貌如婦人好女。蓋孔子曰：「以貌取人，失之子羽。」留侯亦雲。
留侯倜儻，誌懷憤惋。五代相韓，一朝歸漢。進履宜假，運籌神算。橫陽既立，申徒作扞。灞上扶危，固陵靜亂。人稱三傑，辯推八難。赤鬆原遊，白駒難絆。嗟彼雄略，曾非魁岸。