且說兗州因為蝗災，曹操和呂布都因糧草問題，所以隻能各自罷兵，卻說陶謙在徐州，時年已六十三歲，忽然染病，看看沉重，陶謙自思在無活日，於是請糜竺、陳登來府中議事。
期間陶謙問起曹操之事，糜竺看著陶謙那有些枯槁的麵容，他歎息一聲開說道：“曹操之所以會退兵，是因為呂布襲取了兗州的原故。如今曹操歲荒罷兵，來春又必至。府君曾兩番讓位於劉玄德，時府君尚強健，所以玄德不肯接受；如今府君病已沉重，正可借此時機將州牧之位轉於玄德公，玄德見公如此，他本是個心軟之人，必然不會推辭了。”
陶謙聽了之後，他那蒼白的臉上終於勉強露出一絲喜色，他急忙使人來小沛，請劉備來徐州商議軍務。
劉備接信之後，自引關羽、張飛帶數十騎到徐州，陶謙教人將劉備請入臥後堂。劉備看到陶謙這樣，心中不由淒然，劉備問安畢，陶謙強撐身體而起說道：“這次請玄德來，不為別事，止因老夫病已危篤，朝夕難保，萬望明公可憐漢家城池為重，受取徐州印綏，老夫死亦瞑目了！”
劉備聞言之後，他俯身對陶謙說道：“君有二子，都是少年俊傑，大人為何不傳於他們？”
陶謙苦笑著擺擺手說道：“我這兩個孩子啊，長子陶商，次子陶應，這兩人雖有些小聰明，但州牧之位，這二人都不堪大任。老夫死後，還望明公多多教誨二子，切勿令讓他們掌管州事！”
劉備歎息一聲說道：“備不過一織席販履之備，安能當此大任？”
陶謙說了這許多話，已經有些累了，他聽劉備又在那裏謙虛，他此實在是沒有體力浪費太多口舌了，於是他自動忽略劉備的話，然後虛弱的說道：“我保舉一人，可為明公輔，此人係北海人，姓孫，名乾字公祐，明公可以先讓他做一名從事。”
陶謙說完又對糜竺說道：“劉公乃當世人傑，你等當善事之。”
劉備還待推托，陶謙忽然呼吸急促，臉色瞬間變得如同錫紙一般，劉備等人大驚，急忙派人去喊醫師，陶謙一隻手緊緊抓住劉備的手，然後另一隻手指指了指自己的心口，又指了指劉備，做完這一些，陶謙仿佛耗盡了所有的力氣，他雙眼一閉，溘然長逝，劉備等人見狀，不由都俯於地上，放聲而哭，州牧府的哭聲驚動了許多徐州城的百姓，陶謙在世時，鬆政愛民，所以徐州城的百姓都很愛戴陶謙，此刻陶謙一死，許多百姓都自發的來到了州牧府外，為其送行！
此刻徐州大小官員齊聚州牧府，三軍舉哀畢，糜竺即捧州牧牌印交送劉備。劉備再三推辭，次日，府前嘈雜，劉備開門視之，隻見徐州百姓擁擠而來，跪拜於府前哭道：“我等百姓請劉使君接印！”
劉備無言，關羽、張飛二人見狀亦再三相勸。劉備最後長歎一聲，於是決定暫領徐州牧！
劉備使孫乾、糜竺為輔，陳登為幕官，盡取小沛軍馬入城，出榜安民，一麵安排喪事。劉備與大小軍士，盡皆掛孝，大設祭奠，祭畢，將陶謙葬於黃河之原。次日又將陶謙遺表，申奏朝廷。
曹操身在鄄城，得知陶謙已死，劉備又領徐州牧，不由大怒道：“我仇尚未報，這老匹夫竟然死了！況且這劉備何德何能，竟然不費半箭之功，坐擁徐州！我必先殺劉備，後戮謙屍，以雪先父之怨！”
曹操罵完，即刻傳號令，準備克日起兵去打徐州。荀彧聽了入諫道：“昔年高祖保關中，光武據河內，皆因深根固本以製天下，進足以勝敵，退足以堅守，故雖有困時，最終卻能成就大業。明公本守兗州，且河、濟乃天下之要地，就像昔年之關中、河內。如今明公想取徐州，此地多留兵則不足用，少留兵則呂布乘虛攻打，是此我們才丟了兗州。如果這次徐州還拿不下啦，試問明公安還有歸處否？如今陶謙雖死，但有劉備守之。徐州之民，亦都服備，必然會助備死戰。明公若棄兗州而取徐州，是棄大而取小，去本而求末，以安而易危也。願明公熟思。”
曹操聽了荀彧的話後，沉思良久之後說道：“今年歲荒乏糧，軍士坐守於此，終非良策。”
荀彧聞言，笑著說道：“明公不如東略陳地，使軍攻汝南、潁川。黃巾餘黨何儀、黃劭等人劫掠州郡，多有金帛、糧食、此等賊徒，又容易破，破而取其糧，以養三軍，朝廷喜，百姓悅，一石三鳥又順天意，明公以為如何？”
曹操大喜扶掌笑道：“知我者文若也！”
當天曹操傳令，留夏侯惇、曹仁守鄄城等處，自引兵先略陳地，再及汝、潁之地，黃巾何儀、黃劭得知曹兵到，於是引眾來戰，會於羊山。