日軍第10師，已然成為甕中之鱉。日本大本營這才著急起來，為解日軍第10師之危，速以第5師阪本支隊（相當於團）從臨沂馳援。可是，日5師剛開進蘭陵北麵的秋湖地區，就被第20軍團第52軍包圍。
4月3日，李宗仁發起全線反攻。激戰四天，日軍瀨穀支隊大部、阪本支隊一部共11984人被殲。其餘日軍殘部，被迫向嶧城、棗莊撤退。
李宗仁首戰告捷，心中大喜，命令第五戰區各軍團，集中兵力於徐州附近，準備再次聚殲日軍。
日軍在台兒莊失利之後，立刻改變戰術，以小部兵力在正麵牽製李宗仁的部隊，主力卻向西迂回，企圖從側後包圍徐州，殲滅李宗仁的主力。
4月18日，日軍的第10、第5師分別從山東嶧城和臨沂西北的義堂地區南進，對第2集團軍和第20、第3軍團及第27軍團第59軍實施牽製性進攻。
李宗仁坐鎮徐州，指揮各軍團頑強抗擊，激戰20餘天，至4月底，將日軍阻止在韓莊、邳縣和郯城一線。可是，從5月5日開始，日軍從南北兩個方麵向徐州西側迂回包圍。到5月中旬，戰爭越打越慘烈，李宗仁一麵如實向蔣介石如實彙報戰況，一麵命令各軍團繼續抗擊。
此時蔣介石正在武昌督戰，看過前方頻頻傳來的戰報，突然感到情況不對：徐州麵臨嚴重危機，日軍想要圍殲徐州中國軍隊主力！這一念頭在蔣介石的腦海裏閃過，他那因台兒莊的勝利衝得有點暈乎乎的大腦一下冷靜下來。
“假若日本的野心真能得逞，我徐州50個精銳之師全被日軍吃掉，我還拿什麼來抗戰？”
蔣介石在心裏回自己，然後被自己的一問嚇出了一身冷汗。他讓人立即召來何應欽、白崇禧、陳誠等人，一塊研究解決他剛剛意識到的這個問題。
最後大家一致認為：日軍的企圖就是這麼可怕，再死守徐州已不現實。當前之計，首應保存實力，為此隻能迅速放棄徐州、趕緊突圍。蔣介石采納了大家的意見，口授十萬火急電令給第5戰區司令長官李宗仁：
軍委會著令你部力避決戰，撤離徐州，火速突圍。
一、顧祝同第24集團軍在蘇北，第69軍及海軍陸戰隊在魯中南原地堅持抗戰。
二、劉汝明第68軍為全軍後衛，掩護主力轉移。
三、第5戰區其餘各部，立即向豫皖邊區突圍……
5月16日，李宗仁命令各軍團：分別向豫、皖邊界山區突圍。
各軍團接到命令，保持陣形，且戰且退，有條不紊地向西、向南撤退。日軍發現李宗仁部後撤，四處阻擊。每阻一處，中國軍隊衝開一處，日軍合圍未完成，根本阻擋不住。
為避免與優勢之敵作消耗戰，當各路敵軍向徐州步步合圍時，李宗仁命令所部各路守軍，先作一些抵抗，然後伺機撤向山區、湖沼地區，進行“化整為零”的遊擊戰。這樣與日軍糾纏了月餘，第五戰區各部都相繼衝出重圍，順利向河南南部及湖北北部集結。
5月18日黃昏，李宗仁與長官部官兵一應人員700餘人，乘夜色經宿縣、蒙城，越過敵之包圍圈，移駐到潢川。這時侯，留守徐州城的劉汝明部在蕭縣一帶伏擊日軍第9師團，對日軍造成重大傷亡。
日軍惱羞成怒，企圖在徐州城圍殲劉汝明部。劉汝明根據李宗仁的命令，先佯作死守徐州的樣子，等到各路大軍撤盡時，放棄徐州城，巧妙地跳出日軍數十萬大軍的重圍，安全轉移。
日軍的華北方麵軍氣勢洶洶地一路殺來，結果不但沒有能消滅李宗仁第五戰區的部隊，甚至連一個上尉也沒有捉到，以傷亡了萬餘人的代價，僅得到徐州一座空城。
5月下旬，徐州50個精銳之師按命令的路線，全部安全撤抵皖西、豫南地區。日軍沿隴海鐵路西進，於6月6日占領開封。為阻止日軍前進，蔣介石9日下令在鄭州東北花園口附近炸開黃河大堤，河水經中牟、尉氏沿賈魯河南泛，日軍被迫向黃泛區以東地區撤退。
至此，徐州會戰結束。
徐州會戰雖然最終還是敗了，以丟失徐州而告結束。可是，這次會戰鉗製和消耗了日軍有生力量，遲滯了日軍進攻速度，為部署緊接著的武漢會戰，贏得了時間。
徐州失守後，李宗仁率領他的桂係軍隊進部入湖北，在桐柏山、大洪山創立了遊擊基地，繼續堅持抗戰。先後還率部參加了1938年6月至10月的武漢會戰、1939年4月至5月的隨棗會戰、1941年1月至2月的豫南會戰。
1943年9月，李宗仁調離第五戰區，升任蔣介石的北平行營主任，負責指揮第一、第五、第十，共三個戰區的作戰。
1945年5月，在國民黨第六次全國代表大會上，李宗仁繼續當選為中央監察委員會委員。