回到兵營後，吳芮與將士們慶祝他們獲得了兩個爵位和兩個附屬國君稱號。這確實是可喜可賀的。但吳芮還是擔心，這樣的封賞肯定暗藏著危險，因為所有的諸侯都擁有軍隊。而且有些人也許對得到的待遇感到不滿意或不公平。這樣的話，何談將來的天下太平呢？
劉邦對這樣的封賞極為不滿。他從來沒有想到，他的卑躬屈膝換來的隻是這麼一個路途凶險的偏遠地方。他決定與項羽展開鬥爭。於是就有了項羽與劉邦之間的楚漢戰爭。
戰亂期間，中原戰場上硝煙彌漫，大批房屋和莊稼被毀，大量無辜平民被殺。人民群眾艱難度日，怨聲載道。
但在相距僅為千裏的衡山國，形勢一片大好，到處都是一片欣欣向榮的景象。這裏看不到戰爭的蹤影，舉國上下都呈現歡樂和諧的氣氛，老百姓生活安定富足，人們稱讚吳芮王是一位仁君，品行高尚，勇於擔當，擅長軍政事務。
雖然項羽尊稱楚懷王為“義帝”，說他得到了全國人民的廣泛擁護和支持，但私底下他派人去江南襲擊並殺死了義帝。聽到這個消息後，劉邦認為項羽大逆不道。他要聯合各路諸侯，興兵討伐項羽。
吳芮認為，項羽是軍事天才，勇氣過人，但生性殘暴凶惡。他為樹立威信而濫殺無辜。更糟糕都是，他不會用人。因此他的一意孤行使他失去了人民的擁護。而劉邦的一舉一動，都是經過深思熟慮的。他聰明狡詐，知道如何恰到好處地用人。他知道何時應該低三下四，何時可以昂首挺胸。所以他能夠贏得民心。經過對楚軍和漢軍的綜合比較，吳芮認為，楚漢相爭的結果將是漢勝楚敗。因此，他和手下的將士決定協助劉邦征伐項羽。
在結義兄弟張良的一再勸說之下，吳芮站到了劉邦一邊。同時，劉邦也派人去說服了九江王英布。誠如所料，英布決定離開楚國的項羽，轉而準備支持漢王劉邦。獲悉這個消息後，楚國派兵攻打英布。英布被打敗後投奔了劉邦。就在那個時候，劉邦在今河南省的固陵吃了敗仗。但在英布的幫助下，他轉敗為勝。然後他授予英布“淮南王”的爵位。
公元前202年，在垓下的關鍵之戰，項羽遭到劉邦的漢軍圍困。雖然他幾次突破包圍，但他寡不敵眾，手下將士一個接一個倒下，已由八千人減至最後的二十八名騎兵。項羽身手敏捷，在殺死幾百名漢軍士兵後突出了重圍。最後，唯一的退路必須渡過烏江。項羽環顧四周，身邊已經沒有一名士兵了。他認為，沒有了楚國和楚軍士兵，單槍匹馬過江是無臉再見江東父老的。於是項羽拔劍自殺了，時年三十一歲。曾經強大威猛的一代英雄，帶著深深的遺憾死去了。項羽死後，各地楚軍先後陸續投降。