七月，苻堅再派大將彭超攻掠江淮，占辟第二戰場，占領彭城，秦將俱難、毛當率秦軍
六萬取淮陰，奪盱眙，圍三阿，距廣陵不過百裏，朝廷震動。秦軍圍襄陽一年未能攻克，苻堅大怒，賜苻丕劍，若不能攻下城池令其自裁，苻丕大驚，猛攻襄陽，城中出現叛徒，朱序城破被俘。
西線戰敗，謝玄在東線發起反擊，率北府兵由廣陵救援三阿，敗秦軍於城下，隨後進取
盱眙，夜襲淮陰，在君川與秦軍會戰，大敗秦軍，彭超自殺，俱難被苻堅削爵為民。謝玄率北府兵一個月內，以少勝多，四戰四捷，將秦軍打回淮北，威名遠震，被封為冠軍將軍，加徐州刺史。
為保持士族大戶的權利的均衡，謝安讓桓溫弟弟桓豁做荊州刺史，主持長江中遊的軍
事。桓豁死後，他又讓桓衝從長江下遊移鎮荊州。
379年，襄陽被前秦苻堅攻陷後，桓衝因戰守無方，引咎辭職。謝安也未懲辦他，仍讓
他繼續領兵扼守中遊。他不計前嫌，寬宏大量的胸懷深深感化了桓氏兄弟。當桓溫的黨羽曾一度鼓動桓衝伺機誅殺謝安，專斷朝政的時候，桓衝不但沒有采納，反而自以為德望不及謝安，而忠心聽命於安石的調遣，效命於朝廷。謝安對桓氏的寬懷大度，對團結其他士族，共同維護晉室，起了積極的作用。
內景朝廷在軍事上，運籌帷幄，組建“北府兵”。謝安在實行政治改革的同時，在軍
事上也采取了相應的措施。謝安在執政初期，最感薄弱的是手中沒有一支可靠的武裝力量，
而沒有一支強大武裝力量的支持，對內不能與桓氏集團保持平衡，對外更不能與北方強大的
前秦抗衡。於是，謝安“內舉不避親”，推薦侄子謝玄為征西將軍，鎮廣陵(揚州)、京口(鎮
江)，並授意他組建北府兵。
司馬曜：眾愛卿，前秦在北方對我虎視眈眈，國家正是用人之際，請各位愛卿推舉能鎮守北方、抵禦前秦的文武良材。
謝安：謝玄有經國才略，可以擔當此任。
王珣：萬萬不可啊，萬歲，謝玄可是謝安大人的親侄子呀！
謝安：王大人所言不虛，謝玄確實我的侄子，然而我舉薦的是有經國才略的帶兵良將，不管他是不是我的侄子。
郗超：謝玄確是將才，有經國才略，我和謝玄曾經同事桓溫，對此深信不疑。
（退朝後郗超歎曰：謝安能違眾舉親，真是明達；謝玄有真才實幹，肯定不會辜
負他的推舉，可見對謝安用人的認可）
司馬曜：加封謝玄為建武將軍，駐守北邊，以抵禦前秦。哪位愛卿還有舉薦？
謝安：臣再舉薦一人，名叫桓伊，也有安邦之才。
司馬曜：是桓溫的弟弟嗎？
謝安：非也！曾是桓溫的參軍，曾在幾年前和謝玄一起擊破王鑒和張蠔，況此人精通音律，張弛有度，是我朝難得人才。
司馬曜：是那個為王徽之笛上三弄之人嗎？
謝安：正是此人，請萬歲加封！
司馬曜：加封桓伊為豫州刺史。好，謝愛卿，還有誰，一塊給朕推薦出來。
謝安：徐邈、範寧！
司馬曜：這二人有和能耐特長？
謝安：這徐邈雖為北遷庶民，但姿性端雅，學習刻苦，博聞強記，文才全州聞名。
司馬曜：好，朕就加封為中書舍人，在西省侍帝。朕身邊還真缺少這樣一個人呢！謝愛卿你舉薦的真是太及時了！這範寧呢？
謝安：這範寧是範汪大人的後代，曾任餘杭令，他推崇儒學，大興庠序，興學重教，弟子數千人，臣建議加封範寧為臨淮太守，將學校教育發揚光大。
司馬曜：準奏！
征西將軍府
謝玄：劉牢之，本帥任命你為將軍府參軍，負責北府兵。
劉牢之：謝大帥。
謝玄：東海何謙，琅峫諸葛侃，樂安高衡，東平劉軌，西河田洛，晉陵孫無終，汝等驍勇善戰，現任命你等為將軍府偏將，輔助劉牢之訓練北府兵。
何謙等：謝大帥。
謝玄：眾位將官，我們要在平時把軍隊的戰鬥力訓練出來，在朝廷需要我們的時候，出能戰，戰能勝，以保衛國家，報效朝廷。
眾將：聽將軍調遣。