桓玄的兵馬未傷根本就入駐建康，史上大凡地方軍閥勤王進入京城，強者就挾天子以令諸侯，弱者自求出鎮一方，鞏固自身權勢。桓玄也不例外，他先是貶了當朝太傅司馬道子，椄著又殺司馬元顯於鬧市，掌握朝廷軍政大權，大封兄弟親族與親信手下。他現在已經做到了他父親桓溫當年的高度，就是權蓋人主，勢傾天下，他現在也想著我應該很快就能過一把皇帝的癮了吧。（注：《晉書-桓玄傳》）
朝廷裏麵的局麵已經穩定了，接下來就是外麵的威脅。桓玄入主建康，地方上唯一能和他抗衡的就是北府軍統帥劉牢之了。桓玄得勢之後，立馬解除了劉牢之的兵權，貶為征東將軍，會籍內史，劉牢之對手下人不甘的說道，“現如今桓玄小兒才初掌權柄，就想著要奪我兵權，諸位再隨我反了吧。”
當然，這個手下人就是此時在北府軍中威望甚隆的建武將軍劉裕。劉裕看得很清楚，現如今桓玄掌握著朝廷大勢，挾天子以令諸侯這個招兒曆史上很多人都用過，而且屢試不爽，就是因為當時的皇室還掌握著天下大義。
劉裕很是幹脆地搖搖頭，“明公，您先前不戰而降，早已損了北府軍的士氣，而桓玄則是新近掌控朝政，威震天下，不論是誰都會先躲避他的風頭，您已經沒有和他叫板的資格了，而且您要造反，我身為您的手下勢必不能出賣您，但又不能跟著造反，所以，我隻好解好歸田，回往京口了，而且，我現在也很想念家中的妻子和年幼的女兒。”
何無忌也覺得劉裕的話很有道理，便去向劉裕討教自己的前程。劉裕便對他說，“現在您的舅舅去造反，隻是死路一條，我們可不能跟著他一條路走到黑。兄弟可以跟我一起回到家鄉，如果桓玄那個家夥能夠保守一個晉朝臣子的本份，我們就跟著他混也沒什麼，如果他想著要篡位，到時我們再另做計較。”
劉裕如此決絕地離去，並非對東晉效忠到多牢固的程度，也不是怕了桓玄。他最後的稱帝了怎麼可能從內心裏效忠朝廷？他隻是認為劉牢之以一己之私來辦天下事，太不可靠；而北府軍實力不足，若無大義，則不夠爭奪天下。劉大帥許以重利，劉裕不為所動。他雖然看重軍權，但並不盲目地求私利。畫餅的事都看不穿，那是現代都市白領，不是劉裕。
劉裕走了，何無忌也走了，劉牢之傻了。劉牢之手下的大將中現在聲望最高的就是劉裕，自己和兒子劉敬宣現在在北府軍中也快到人人喊打的地步了，他就是想著利用劉裕的聲望來控製北府軍了，現在打算落空了。