當時，西晉皇族內部互相傾軋，爭權奪利，各少數民族首領乘機起兵作亂，國家安全受到嚴重威脅。祖逖和劉琨對此都深為焦慮。
一天半夜，祖逖被遠處傳來的雞叫聲驚醒，便把劉琨踢醒，說：“你聽到雞叫聲了嗎？”劉琨側耳細聽了一會，說：“是啊，是雞在啼叫。不過，半夜的雞叫聲是惡聲啊！”祖逖一邊起身，一麵反對說：“這不是惡聲，而是催促我們快起床鍛煉的叫聲，還是起床吧！”劉琨接受了祖逖的觀點，跟著穿衣起床。兩人來到院子裏，隻見滿天星鬥，月光皎潔，於是拔出劍來對舞。直到曙光初露，他們才汗流涔涔地收劍回房。
後來，祖逖和劉琨都為收複北方竭盡全力，作出了自己的貢獻。
永嘉五年（311），匈奴人劉淵起兵，攻陷洛陽，俘虜晉懷帝，居住在北方的漢人紛紛向南逃跑，祖逖也率領宗族數百家向淮泗地區轉移。南下避難的人很多，雜亂沒有秩序，老弱病殘者，大多無所依靠。祖逖本來就性格豪爽，又經過歲月的磨礪，待人更加慈厚。他把乘坐的車馬讓給年老有病的人，自己步行，並把所帶的藥物糧食拿出來與大家共用。亂世本來就不太平，途中艱險頗多。祖逖用自己的權略，把難民組織得有條不紊，因此祖逖便被大家推為同行的領導。
到達泗口後，祖逖即被司馬睿用為徐州刺史，不久，又奉命徙居京口（今江蘇鎮江），擔任軍諮祭酒（軍隊首席參謀）的重要職務。這時的江南還比較安定，但祖逖不願安於現狀。他心係中原，總是盼望能夠收複失地，重興晉室江山。為此，他著手進行籌備工作，注意招賢納才。因他撫愛下屬，待士眾如子弟，因此在他周圍彙集了許多有誌之士和勇士俊傑，這些奠定了他以後北伐的軍事基礎。
西晉建興元年（313），祖逖上書司馬睿，對西晉禍亂的起因進行了客觀的分析，認識到北伐有深厚的群眾基礎，請求出兵北伐。
司馬睿在江南經營多年，實際上建立了自己的小朝廷。他不但不打算北伐，還不斷壓製打擊建議北伐之人，這次，礙於祖逖的聲望，隻好應允。他授祖逖奮威將軍、豫州（今河南東部及安徽西部一帶）刺史，但僅給他1000人的口糧和3000匹布，叫他自己製造兵器、招募士卒，進行北伐。司馬睿冷淡的態度，並沒有使祖逖感到氣餒，他從隨自己南來的鄉族親友中挑選100多家渡江北進。船到江心的時候，祖逖敲擊船槳，當眾發誓說：“我祖逖若不能清掃中原，就像這東流的大江一去不返”。他的誓言極大地鼓舞了士氣，使同行者北伐的信心更加堅定。
祖逖渡過長江，先將軍隊駐紮在江陰（今江蘇清江西南），起爐冶鑄兵器，招募士卒，組成了2000餘人的隊伍，為繼續北上作準備。
巧定譙國智平陳留
東晉建武元年（317），祖逖進駐蘆洲，與塢主張平、樊雅相遇。張平自稱豫州（今河南汝南東南）刺史，樊雅自號譙郡（今安徽亳縣）太守，各據一城擁兵數千人。祖逖派參軍殷乂去張平、樊雅那裏勸降。殷乂輕慢張平，說了一些不得體的話，被張平殺死在座席上。後來祖逖攻打張平，並將其殺死，但樊雅仍據守譙郡。祖逖覺得自己的兵力還比較薄弱，便向王含求助，共討樊雅。王含隻派參軍杜宣領兵500援助祖逖，祖逖很不滿意，但認為杜宣反倒可以幫助自己成就大事，就對杜宣說：“您為人很講信義，又是樊雅的同鄉，先前就說服過他。現在您再為我去說服他吧！他如果能投降，不僅可以免於一死，而且可以封官。”