六月，袁術依靠孫策肅清了南方的勢力，自以為無憂，於是率軍北上從淮南（今安徽壽縣）進攻劉備，準備奪取徐州。
袁術先前令孫堅進攻劉表，結果孫堅戰死，自己又去進攻曹操，結果大敗，南奔至揚州方才緩過勁來。這時劉備剛領徐州，根基不穩，不安份的袁術趁機起兵，勢必要在風頭上蓋過他那庶出的哥哥，要讓天下士人知道他袁術的實力！
袁術麾下大將軍紀靈、張勳、橋蕤等，以步騎兵數萬人，分兵七路，進攻下邳，劉備清楚的認識到徐州士族接下來的反應，如果自己表現出一絲慌亂，他們立馬就會選擇裏應外合，毫不猶豫的舍棄他這個徐州牧，如果他們能看到劉備有能力保徐州無恙，定然也會鼎力相助。
這絕對是對劉備的一次嚴峻的考驗，這個時候，劉備才意識到身邊極度缺乏那種值得信任的強力謀士。
於是劉備使司馬張飛領軍一千鎮守下邳（今江蘇睢寧西北），親自率軍一萬進至盱眙（今江蘇淮安市盱眙縣盱城鎮），淮陰（今江蘇淮陰西南）一線，迎戰袁術。
二軍相守月餘，各有勝負，僵持不下。這時有軍中主簿進言道：“軍中有一士兵，殺敵奮勇，衝鋒必先，當今用命之際，我將此人薦與主公，若能得用，必可鼓舞兵將。”
劉備於是喚這士兵來見，原來這人名叫陳到，汝南平輿（今河南駐馬店平輿）人，字叔至。劉備問道：“聽說你每戰必用命，殺敵必舍身。這本來是每個士兵都應該要做到的，而你卻更加出彩，你是怎麼做到的？”
陳到回答道：“我陳到一無名望，二無門閥，卻又不甘落魄一生，是故舍生忘死，隻為出人頭地。”
劉備擊掌笑道：“叔至所言，甚合吾心，我欲收汝為近衛，雖稍離陣前，然亦危險重重。汝若堪用，他日可自領一軍，隻是近時，名必不彰，望必不顯，汝願否？”
陳到說道：“大丈夫立於世間，必求留名於世，今時之名，身後之名，有何別哉，到若為近衛，必誓死以護主公周全。”
從此以後，陳到剛剛在軍中顯露的名聲，又被埋沒下去，陳到和其他袍澤一樣，默默的跟隨在劉備左右，替劉備阻擋著無時無刻飛來的明槍暗箭。
徐州第一將軍曹豹，與兄長曹宏之前都是陶謙的親信，在徐州風頭無人能及，依仗曹家在徐州深厚根基而一向自恃甚高，屢次冒犯劉備。
劉備立足未穩，並不計較，三弟張飛平素嫉惡如仇，怎能容忍別人在大哥頭上作威作福？由於劉備屢次教導張飛要以大局為重，是故隱忍不發。
張飛見劉備扼守淮陰一線，自己不能與大哥並肩作戰，袁術兵多勢眾，又為大哥安危擔心，幾乎想立即上馬去支援劉備，但是下邳乃大軍後方，不得不守，於是悶悶不樂，宴請徐州文武，詢問良策。
席中無人能解當前局麵，張飛鬱結，隻好大口吃酒。曹豹素來輕狂，又看張飛無計，以為人好欺負，於是又以言語冒犯。張飛勃然大怒，令杖責五十於群臣麵前，曹豹哪裏受過此等委屈？於是暗中懷恨於張飛。
曹豹派中郎將許耽及司馬章誑告知女兒自己所受屈辱，誆騙呂布（曹豹女婿）率軍支援下邳，曹豹等人打開城門，放火作亂，呂布以為袁軍攻來立即率兵進城。
當時城中極度混亂，敵我難以區分，張飛無兵，於是棄城投劉備而去。呂布進入下邳之後，曹豹等人動用家族勢力令呂布坐實下邳，劉備的妻子兒女以及官員、將領們的家屬都被控製。
劉備聞知，急忙帶兵回救，劉備麾下兵士將領家眷都在下邳，軍至下邳，不戰自潰。劉備收合散兵，與袁術再戰於廣陵（今江蘇揚州），軍心已亂，又兼兵少，於是再次大敗。劉備遂引軍屯於廣陵附近的海西縣，軍中將士饑餓不堪，隻好自相殘殺，以人肉充饑。
這時劉備軍糧斷絕，退無所歸。
恰在這時，呂布派人講清緣由，說明苦衷，徐州本地勢力難以背違，於是以劉備為豫州刺史，使其軍屯於小沛（今江蘇沛縣）。
不久，袁術遣大將紀靈等率步騎三萬再攻。劉備向呂布求救，呂布欲引徐州兵士前往解救，得到曹豹堅決阻撓，曹豹說道：“汝欲救吾仇人耶？”
於是呂布不動徐州軍，率親兵千餘馳援，呂布自知兵少，袁術又不知徐州內部情況，於是想出為二家講和的計策。他將紀靈請至營中立戟於營門之外，然後走出百步，手持弓箭對紀靈說，如果我一箭射中戟上小枝，請二家罷兵，如若不中，但憑爭鬥。
說罷，一發而中，紀靈等大驚，畏呂布之勇，引兵退去，劉備之圍遂解。
呂布的部將河內人郝萌不知究竟，以為呂布背信棄義，鳩占鵲巢，於是憤然說道：“我等追隨將軍良久，皆是因感念將軍忠義，今日做出這等齷齪事情，讓我郝萌如何自處？”