西晉滅亡後，琅琊王司馬睿於建武元年（317）在江南稱帝，以建康（今江蘇南京市）為都城，史稱東晉。司馬睿立國江東之時，黃河流域正處在戰亂之中。當時，北方漢族人對少數民族軍事貴族的統治十分仇恨，希望東晉政權北伐。晉室南渡之初，晉元帝司馬睿忙於鞏固自己統治，無心北伐。政局稍穩後，統治階級內部又開始爭權奪利，再加上士族熱衷於江南的莊園經營，很少有人顧及北伐之事。但也有個別人物是主張北伐的，因而東晉前期，也曾出現了幾次北伐。
祖逖北伐
祖逖（266～321），字士稚，是北方範陽世家大族。西晉永嘉之亂後，祖逖率親黨數百家渡江，居於京口（今江蘇鎮江市）。祖逖素有報國之心，以恢複中原為己任，建議元帝司馬睿北伐，被任為鎮西將軍、豫州刺史。司馬睿本無心北伐，所以隻撥給祖逖千人糧餉，三千布匹，而不給一兵一卒、一刀一槍。祖逖對此毫無怨言，於建興元年（313）率部曲百家渡江，船到中流，他拍擊船楫發誓說：“我祖逖立誌北伐，如果不能掃清中原而凱旋歸來，就讓我如同這浩浩蕩蕩的江水一樣，有去無還吧！”
當時中原地區郡縣係統已崩潰，到處都是塢堡。祖逖北進後，擊斬與他敵對的塢主張平，降服另一塢主樊雅。與此同時，祖逖又遣使為互相爭鬥的塢主李矩、魏浚、郭默等人講和，並使他們都歸於自己麾下，壯大了自己的力量。在隨後4年多的時間裏，祖逖率領北伐軍同擁有絕對優勢的敵人進行了艱苦的戰鬥，終於收複黃河以南的大片土地，使“石勒不敢窺兵河南”，北伐形勢非常好。就在祖逖練兵積穀，為進軍河北做準備之時，晉元帝擔心祖逖勢力發展對他不利，就任命戴淵為征西將軍，都督北方六州諸軍事，節製祖逖。祖逖眼見北伐大業難成，又慮東晉內亂將至，憂憤成疾，死於軍中。祖逖死後，朝廷忙於內亂，無暇北顧，黃河以南廣大地區又陷入北方少數民族之手，此次北伐遂以失敗告終。
庾亮兄弟北伐
庾亮（289～340），字元規，是東晉著名大族穎川庾氏的代表人物，其妹為晉明帝皇後。成帝（336～342在位）時，他以帝舅輔政，有誌北伐。鹹康五年（339）三月，庾亮開始北伐。他的北伐目標是北方的後趙和蜀地的成漢。庾亮的北伐遭到大多數朝臣的反對。正在這時，邾州突然被後趙攻陷，守將毛寶、樊峻和突圍而出的6000將士全部被淹死在江中，此次北伐宣告破產。庾亮憂悶成疾，第二年病死。
庾亮死後，其弟庾翼代任其職。庾翼很有才幹，常以“滅胡平蜀為己任”。建元元年（343），庾翼率將士4萬多移鎮襄陽，誓師北伐。但不久前鋒梁州刺史桓宣戰敗，隨後晉康帝和北伐主將之一庾水相繼病死，北伐又告中止。不久，庾翼發病死去，庾氏兄弟的北伐隨之宣告結束。
桓溫北伐
桓溫（312～373），字元子，是東晉著名大族譙國桓氏的代表人物。永和三年（347），桓溫率軍入蜀，滅成漢，威望大著。桓溫屢次要求北伐中原，晉室怕桓溫北伐成功後更加無法控製，就對桓溫的請求置之不理，反而相繼派褚裒、殷浩北伐，以圖抑製桓溫。及至褚、殷二人相繼大敗而回後，晉廷再也無法阻止桓溫北伐。自永和十年（354）至太和四年（369），桓溫接連進行了3次北伐。
永和十年二月，桓溫親率兵騎4萬，一直打到關中，進駐長安附近的灞上。關中百姓聞晉軍至，皆持牛酒來迎，耆老感激而泣，說：“不圖今日複見官軍。”隱居關中的王猛披褐來見，與桓溫談當世之務，旁若無人。王猛看出桓溫北伐旨在立威，以功名鎮服江東，並非真想收複中原。不久，晉軍糧草匱乏，繼而又被前秦丞相苻雄擊敗，將士死傷萬餘人。於是，桓溫被迫回師，遷徙關中3000餘戶返回襄陽。第一次北伐無功而返。