北方還有一部分地區是在羯族人石勒建立的後趙統治之下。石勒也是一員能征慣戰的大將，許多人都敗在他的手下，對他很是害怕。祖逖領兵繼續北進，在黃河邊上與石勒展開了激烈戰鬥。祖逖手下的將領韓潛跟後趙將領桃豹，雙方爭奪一個叫蓬陂（今河南省開封市東南）的城堡。韓潛占了東城，住在東台；桃豹占了西城，住在西台。晉軍從東門進出，後趙軍從南門進出。雙方對峙了40多天，糧食供應都發生了困難，都感到難以堅持下去了。祖逖為了戰勝對方，商量了一條妙計。
他叫部下用許多麻袋裝上砂土，假裝是糧食，派1000多人高唱著勞動號子運上了東台；又派幾個人搬運一些真的米袋，故意裝作疲勞得很的樣子，走到與後趙軍交界的路上去休息。後趙軍的士兵早就餓急了，見了運米的晉軍，就追趕過來。祖逖的部下故意丟下米袋就跑。後趙軍的士兵搶到了米，很是高興，立刻把搶來的米下鍋做飯。他們一邊吃著香噴噴的米飯，一邊談論著祖逖軍隊的糧食這樣充足，而他們卻要經常忍饑挨餓，言談之間，不覺流露出不願意繼續打下去的情緒，軍心開始動搖。這情況很快反映到了石勒那裏，使石勒大傷腦筋。為了穩定軍心，石勒火速派人組織了一支由1000多頭驢子組成的運糧隊，從後方運送糧食去接濟桃豹。祖逖得知這個消息後，立刻派韓潛等帶領一支人馬去襲擊對方的運糧隊。他們在汴水（在今河南省中牟縣一帶）岸邊截住後趙的運糧隊，殺了押運糧食的士兵，奪得了全部糧食。桃豹得知糧食被搶，知道再也無法堅持下去了，嚇得連夜撤出陣地，向北遁逃。
祖逖打了許多次勝仗，東晉朝廷為了嘉獎他，升他為鎮西將軍。祖逖雖然做了將軍，生活卻仍然很儉樸。他常常用節省下來的錢，幫助部下解決困難。他和將士們同甘共苦，認真訓練部隊，準備繼續向黃河以北挺進。為了安定後方，祖逖還積極獎勵農業生產，安排好從匈奴人和羯人統治地區逃出來的官兵和百姓。他還認真做好爭取人心的工作，對那些曾經為後趙做過事的人放手使用，不懷疑他們。些人都很感激祖逖，遇到後趙的軍隊有什麼動靜，就趕快向祖逖報告，使祖逖能及早準備，迎頭痛擊敵人。
祖逖恢複中原的措施，得到了廣大百姓的真誠擁護。老年人在一塊兒談話的時候，個個豎起大拇指讚揚祖逖。有的說：“我們已經老了，現在又見到了祖逖這樣的好官，死了也沒有什麼遺憾了。”有的把歌頌祖逖的話編成了詩歌，到處傳唱。
祖逖的節節勝利，卻引起了東晉統治集團的猜忌。他們不僅不再支持祖逖繼續前進，還派人去監視他，妄圖奪他的兵權。晉元帝司馬睿派尚書仆射戴淵做征西將軍,掌管司、兗、豫、並、雍、冀6州的軍務，坐鎮合肥，來做祖逖的頂頭上司。戴淵是南方人，雖然有些才能，名望也很高，可是為人氣量狹小，見識淺陋，是個沒有作為的人。祖逖看到朝廷不信任自己，感到恢複中原是沒有指望了。他的內心痛苦到了極點，憤恨到了極點。在晉元帝太興四年（公元321年）的9月間，祖逖在憂憤中病死了。
祖逖逝世的消息一傳出，黃河南岸許多地方的人民傷心地放聲痛哭。人們給祖逖建造祠堂，塑了他的像，表示對他、永遠懷念。