項羽在張良的“調遣”下奔赴齊地以後，即陷入了齊國戰爭的泥沼之中。趁機出關平定了中原的劉邦，此時把眼光盯上了項羽的老巢彭城。楚漢戰爭的帷幕就此正式拉開。
彭城，是戲亭分封時項羽為自己圈定的都城。當時曾有人勸說項羽，讓他立都關中而稱霸天下，項羽聽不進去，堅持要“富貴而歸故鄉”。故鄉是回來了，但是彭城的地理形勢和關中確實有很大的區別。從優勢上說，彭城是控製中原和黃淮平原間的交通樞紐，建都於此，無論北伐南下，西征東進，出兵都非常方便。從劣勢上說，彭城無險可守，一旦受到攻擊，很容易被攻取。大概項羽對自己西楚霸王的威懾力非常自信，所以當初選都彭城時，並沒有從防守上去考慮。可是現在，項羽親率精兵強將遠征齊地，留下萬餘名老弱殘兵守護彭城時，彭城的軍事劣勢立即暴露出來，那簡直就是一個無防守可言的軍事空城。尤其是對於此時發展勢頭正盛的劉邦來說，揮師東下，直搗彭城，簡直易如反掌！
漢二年（前205）四月，劉邦率領諸侯聯軍在洛陽（今河南洛陽）誓師東進。然後兵分兩路，直撲彭城。果然，守衛彭城的楚軍不堪一擊，彭城很快被攻陷。
進入彭城後，劉邦的感覺大概有點像當初進入鹹陽。楚宮中，盡是項羽從鹹陽掠奪來的珍寶美女，看得劉邦目眩神迷。而此時和當初進入鹹陽又不一樣，那個時候還有所忌憚，所以盡管不情願，但還是在樊噲和張良的勸說下，離開了秦宮。現在則可以無所顧忌了。於是，劉邦把楚宮中的珍寶美人，盡數收為己有。每天都是置酒宴飲，豔舞笙歌。一方麵享受著勝利者可以肆意為樂的暢快，一方麵也一吐從鴻門宴以來受製於項羽的窩囊氣。
彭城失守的消息，很快傳到了項羽的耳朵裏。得知自己的老窩被劉邦所占，項羽氣得暴跳如雷。本來他已經聽說劉邦出關東進，就想等平定齊地之後，再回師收拾劉邦。沒有想到劉邦行動這麼迅速，膽子又這麼大，直接向他進行這樣的挑釁。於是，安排了繼續攻齊的事宜後，項羽親自帶領三萬精兵，火速趕回彭城。
這時候，劉邦還沉醉在楚宮的溫柔富貴鄉中。項羽出其不意地從劉邦的背後突然發起攻擊，劉邦、韓信等人倉促應戰。無奈各路諸侯的戰鬥力，已在連日放縱中消耗殆盡，而彭城本身又是易攻難守。劉邦大敗，隻得逃出城去。項羽率軍趁勢掩殺，追趕到榖水、泗水邊。漢軍士兵因爭著渡水，自相踐踏，有的在倉皇逃竄中落入水中，有的被楚軍追殺，死傷多達十餘萬人。還有三四十萬人馬，往南入山，逃到靈璧（今安徽靈璧縣）東的睢水邊，又被楚軍追上。這時的漢軍，前有大河擋路，後有追兵趕上，為了逃命，隻得跳河求生。不料，水深流急，再加上眾多將士不會水，被淹死者又有十多萬人，使“睢水為之不流”。驚慌失措的劉邦，繼續往前奔逃。等到逃到豐邑（今江蘇豐縣）附近時，他身邊隻剩下了幾十個騎兵。
豐邑，是劉邦的老家。逃到豐邑後，劉邦得知他的妻兄，即呂雉的大哥呂澤率兵在下邑（今安徽碭山縣）駐紮，於是又趕到了下邑。到下邑後，劉邦才敢重新打出漢王的旗號，集結潰散的人馬。
從劉邦的直取彭城，到彭城慘敗，最典型地體現了世事的變幻無常。當時率領五六十萬人馬誓師東下，聲勢何等雄壯。而項羽率領三萬精兵反手一擊，這幾十萬人馬竟敗得一塌糊塗。特別是彭城慘敗後，原本已經歸順劉邦的各路諸侯又紛紛叛離，使劉邦更感自己力量的薄弱。一時間，劉邦的情緒非常低落，他開始懷疑自己問鼎天下的決策。