如是者一連幾次，劉邦驚怒交加，怒叱道：“如今情勢危急，你還要收管兩個孩兒，難道想自尋死路麼？”
夏侯嬰卻毅然抗辯道：“此乃大王親生骨肉，怎能棄於不顧？”
劉邦急怒起來，便拔劍欲殺夏侯嬰，夏侯嬰慌忙一閃，劉邦的劍擊空，則再次把一對兒女推了下車，並令隨從中的一人來代替夏侯嬰禦車，向前疾馳。夏侯嬰一咬牙，張開雙臂，把兩個孩兒抄起，挾於腋下，就躍上那個改為禦車之人的馬上，拍馬緊跟上去。劉邦一行全速逃奔，季布漸漸追遠，無法趕上，隻好放棄，領兵而回。
又走了一段路程，劉邦回頭見追兵已經不見了，這才鬆一口氣，放緩下來。夏侯嬰等人也趕上了，劉邦這時也怒氣全消，對夏侯嬰拚死保護幼主之舉十分感動，他說：“夏侯嬰，你真是忠臣，剛才是寡人情急，差點錯傷了你。你不要怪寡人啊！”
夏侯嬰道：“臣怎會怪大王，臣為大王保護公子、公主，乃是本份！”
劉邦連連點頭稱讚，本想向兩個孩兒安慰一番，可是兩個孩子尚有餘悸，不敢靠近，劉邦無奈，隻好與夏侯嬰商量接下來的去向。二人商量之後，決定投下邑而去，因為下邑曾由呂雉兄長呂澤帶兵屯駐過，那裏可說是漢軍的據點之一。
一行人便從間道行往下邑。下邑在碭縣的東邊，他們到達下邑時，正好呂澤也帶兵到此，剛剛在縣中駐紮下來。有軍士發現劉邦隊伍到了縣下，忙報與呂澤知道，呂澤傳命打開城門，出去迎接。
劉邦一見呂澤出迎，立刻喜上眉梢道：“在這裏見到舅爺，真是太好了。”
呂澤道：“大王平安歸來就好，快請進城。”便迎劉邦一行入城。
安頓下來之後，就設宴為劉邦壓驚，經過幾天的亡命，劉邦總算安定了，他便在下邑停駐，派人四出招集各地的散兵，尋回失散的眾將。
失散各地的漢將漢兵們聽聞劉邦身在下邑，就陸續趕來，很快就重新集結了大批兵馬。但各路諸侯卻有很大的反複，司馬卬已陣亡；司馬欣、董翳又叛漢降楚。韓、趙、河南三王的殘兵各自逃歸本國，所以在下邑集合的隻有漢軍。雖然漢軍兵將已陸續回來集合，惟是始終未有劉太公、呂雉等人的消息。
原來劉太公聽說劉邦兵敗，知道豐鄉不能再呆下去了，就帶齊家眷逃離家鄉避難。在他們身邊有舍人審食其相從。審食其讓大家扮作難民的模樣，專挑僻路走動。頭兩天還是相安無事，晝行夜宿，隻是較為勞苦一些。但到了第三天，剛走了幾裏路，就遇上了楚兵，急忙走避。豈知楚兵當中竟有人認出了劉太公和呂雉，就一擁而上，把他們全部擄走，審食其不忍舍棄主人，就也被捉去。
當劉氏眾人被押到項羽麵前時，項羽便怒目視之，說道：“劉邦膽敢奪我城池，真是不自量力。如今兵敗逃亡，連父親、妻子都落入我手中，你們也有後悔麼？”
呂雉道：“我夫君隻是一時失利，他很快就能重整旗鼓，回來報仇，把你這驕傲自大的莽夫打敗！你休在這裏得意！”
項羽大怒，厲聲道：“身陷於此，還口出狂言，你想找死嗎？”說著便想殺了劉氏一家。常磐馬上勸道：“大王息怒，留下他們尚有大用。”
“什麼？”項羽不解地看了他一眼，常磐道：“劉邦逃走，必然再調集大兵來複仇，我們若能留住其家眷性命，將來也可以用以製衡於他。”項羽恍然大悟，便下令把劉氏一幹人悉數拘押起來。
劉邦派出偵騎分頭去打探家人的下落，經過多日查探，終於得到回音，才知家人已盡落項羽之手，不由放聲痛哭，眾人幾番勸解，才使他暫止哀傷。今漢軍已基本集合齊整，就轉至碭縣中安頓。這時，便有王陵的使者到來，說其老母被掠，自殺而死，他願奉母之遺命，投誠漢王，誓報大仇，特派人送來書函，以表忠心。
原來王陵的母親也是被楚兵擄去，項羽為了招降王陵，就將其母留下來作人質。項羽逼其母作書給王陵，但其母怎麼也不肯寫這書信。項羽無奈，就派人到陽夏，假傳其母之命，讓王陵棄漢歸楚。王陵深知其母，未見她的書信，隻聞傳命，便生了疑心，加上他根本不想降楚，就先派使者與楚使一同回去，說要先見其母，再商定後事。