張舉撤軍以後，李農請陳翰商議當前局勢和應對的措施。
李農道：“賢侄，現在石遵進軍鄴城，很多人都支持他，這些人都和我交好，我想回到鄴城，投靠石遵。這次張豺害我，我是被逼造反，不小心暴露了乞活軍的實力，不過這也能讓石遵更加重視我，我回去一定能得到重用。石遵得到這個皇位並不是合法的，各地的與石遵不睦的諸侯王一定會借機起事，討伐石遵，爭奪皇位，到時候我們會有機會建功立業了。”
陳翰道：“張舉十萬精銳禁軍，沒有攻破乞活軍把守的上白城，這一定會讓我們的聲勢上漲。司空大人想回鄴城，我覺得可行，石遵一定不會降罪與你，隻是我們招募中原乞活軍的事情，希望司空大人不會中斷。”
李農道：“這個當然，我跑出去的人回報，現在已經很多起活軍有意加入，這是我以後在朝廷發展的憑仗，賢侄放心。”
隔天，李農就帶著家眷和軍隊告別上白城，向鄴城進發。
李農回到鄴城以後，主動找石遵謝罪並請求歸附，石遵驚訝於他有抵擋十萬禁軍圍城的實力，讓他官複原位。李農經此磨難以後，聲明更盛，各地乞活軍紛紛歸附，除了陳翰的白袍軍，李農又多了五萬的乞活軍可以調遣，還有很多漢族將領，漢人地主豪強，也都紛紛寫信示好。中原漢人武裝共主的形象慢慢形成。
石遵尊母親鄭氏為皇太後，立妃張氏為皇後，立燕王石斌的兒子石衍為皇太子。以義陽王石鑒為侍中、太傅；沛王石衝為太保；樂平王石苞為大司馬；汝陰王石琨為大將軍；武興公冉閔為都督中外諸軍事、輔國大將軍、錄尚書事，輔佐朝政。封石世為譙王，食邑一萬戶，不以對待臣子的禮儀對待他，廢黜劉氏為太妃。過了不久，便把他們全都殺了。
冉閔對石遵進言說：“苻洪是傑出的人才，如今讓他鎮守關中，我恐怕秦州、雍州之地就不再會歸趙國所有了。讓苻洪鎮守關中雖然是先帝臨終前的指令，然而如今陛下登位，自然應當改變謀略。”石遵聽從了冉閔的進言，解除苻洪的都督職務，其他的官職待遇則一如從前。苻洪對此感到憤怒，回到枋頭後，便派使者向東晉投降。
當時沛王石衝正在鎮守薊城（今天津薊縣），當聽說石遵殺了石世自立為帝後，就對輔佐他的同僚們說：“石世是秉承先帝的旨意繼位的，石遵專橫地把他廢黜並殺掉，再也沒有比這更大的罪過了！命令內外嚴加戒備，我要親自出征去討伐他！”於是石衝留下寧北將軍沭堅守衛幽州，自己率領五萬士兵自薊城南下，並將討伐石遵的檄文傳遞到燕、趙之地。石衝每到一地，人們都雲集而來，等到抵達常山（今河北石家莊），兵眾已有十多萬。
駐紮在苑鄉（今河北省邢台市任縣）時，石衝見到了石遵實行大赦的詔書，對部將們說：“石世、石遵都是我的弟弟，死去的已無法複生，為什麼還要再互相殘殺呢！我要返回去了。”
石衝手下的將領陳暹卻說：“彭城王石遵殺君奪位，自立為帝，罪大惡極！雖然君主您要揮旗北返，但我還將繼續南進，等到平定京師，擒獲了彭城王，然後再來恭迎您的大駕。”聽到這話，石衝又改變了主意，於是繼續前進。
石遵聽說石衝興大軍討伐自己，急速派大臣王擢送去自己的親筆書信勸說石衝，但石衝沒有聽從。
石遵便找來石閔和李農討論如何禦敵，他對石閔和李農說道：“朕初登大寶，除了皇侄和司空之外，沒有什麼大將可以倚仗，現在沛王興兵來犯，你們可願意出兵幫朕平叛。”