烈宗孝武皇帝太元二年（公元377年）
初，中書郎郗超自以其父愔位遇應在謝安之右，而安入掌機權，愔優遊散地，常憤邑形於辭色，由是與謝氏有隙。是時朝廷方以秦寇為憂，詔求文武良將可以鎮禦北方者，謝安以兄子玄應詔。超聞之，歎曰：“安之明，乃能違眾舉親；玄之才，足以不負所舉。”眾鹹以為不然。超曰：“吾嚐與玄共在桓公府，見其使才，雖履屐間未嚐不得其任，是以知之。”玄募驍勇之士，得彭城劉牢之等數人。以牢之為參軍，常領精銳為前鋒，戰無不捷。時號“北府兵”，敵人畏之。
東晉時代是皇族與士族共和的時代，標準的說法是門閥政治，也就是皇權不能獨大，有大士族在其間平衡之。這種格局從“王與馬共天下”開始，甚至更早到司馬越和王衍的合作，皇帝專製和門閥政治表麵形態有所不同，但本質都是專製政治。區別不過是皇帝是“一個核心”，士族是“集體領導”。
謝安和王導一樣，謀取皇族與士族、士族與士族之間的和平共處，但是和平的前提條件是權力均衡，其中最關鍵的是軍權的均衡。王敦、蘇峻、桓溫之所以強勢，就是因為他們掌握了軍隊。東晉時代，皇帝和士族、中央和地方、上遊和下遊、南人與北人……可謂矛盾萬千重，在矛盾多樣化政治局麵下，就會產生王導和謝安這樣八麵玲瓏的政治家。王導主政，有王敦率領的王家軍作為後盾；同樣，謝安要想做好丞相，也必須有謝家軍以為奧援。
桓溫死後，桓衝讓出了長江下遊的駐防權，謝安於是安排自己的侄子謝玄另行組建軍隊，這就是後世聞名的“北府兵”。
謝玄時任建武將軍、兗州刺史、領廣陵相、監江北諸軍事，出鎮廣陵。當時廣陵和京口聚居著大量逃避北方戰亂而來的流民，這些流民中，相信不少人和《射雕英雄傳》裏的郭嘯天（郭靖之父）、楊鐵心（楊康之父）一樣，有家國情懷，有思想覺悟但生計匱乏，僑遷至南方後，自然會抱團取暖。他們有組織，也形成了自己的領導——“流民帥”，謝玄到任後，整合了流民帥劉牢之、何謙、諸葛侃、高衡、劉軌、田洛、孫無終等人的力量，以劉牢之為參軍，組成了一支戰鬥力很強的軍隊。因為當時京口又名北府，謝玄鎮京口，故而其軍得名北府兵。
北府兵後來有效抵禦了北方苻秦的侵略，在淝水大戰中表現卓越，對危局中的東晉政權起到極大的鞏固作用。此後，東晉政局的演變和北府兵的流變息息相關。這一點和晚清一樣，後來清王朝的命運和湘軍（以及其衍生的淮軍、北洋軍）的命運也是息息相關。國家在內憂外患之中，王朝在衰落過程中，就會有新興的軍事力量躍上政治舞台，他們既是這個王朝的強心劑，也不可避免地會充當這個王朝的掘墓人。槍杆子裏麵出政權，就其曆史實踐來說，揭竿而起上井岡成功的隻是少數，更多的是體製內的軍人黃袍加身。
軍隊是專製政權的終極力量，一個國家的民主化進程，必須包括甚至必先是軍隊的國家化，任何私有化的軍隊存在，都是民主憲政的毒藥。在2011年埃及和利比亞的政局動蕩中，我們就可以發現，軍人左袒右袒關係甚大。
桓衝駐守長江上遊，讓出下遊防地給謝安謝玄，這樣謝氏和桓氏形成了新的共同局麵，老牌的士族王氏相對邊緣化，後來新晉的郗氏（郗鑒、郗愔、郗超祖孫）則因為郗超早死也就沒落了。郗超結黨於桓溫，又不失時機地向司馬氏示忠、向謝氏示好，刀切豆腐兩麵光，屬於亦正亦邪的人物。不過那個時代朝廷的氣氛確實是亦正亦邪。
謝安、謝玄叔侄一個主導內政，一個手擁兵權，又恢複了王導、王敦時期的模式，回觀桓溫始終在朝中沒有自己的兄弟把持，缺少一個有能力的內應，這也是桓溫最終不能得誌的一個主要原因。