桓玄殺了司馬元顯之後，初時還狠狠地打擊了朝中的一些奸佞不法小人，當然，這些奸佞都是跟隨司馬元顯的餘黨，然後又提拔了一些聲名、才望俱足的名士進入朝廷。這其中有多少偷偷地或是光明正大拜訪過桓玄的我們也不得而知，但他這一番動作很有一股輔政大臣的派頭，要還朝廷一片明朗的晴天，就贏得了建康城中官僚百姓的滿堂喝彩聲。
不管桓玄是不是仗著他的父親桓溫和叔叔桓衝的餘威，他能從軍閥混戰中脫穎而出，從而成為東晉第一大軍閥，繼而掌控朝政，這能力還是有的。
可惜，桓玄的出身注定了他身上有紈絝氣質，他一看到晉朝天下再也沒有可以和桓氏對抗之人，便以為天下無事矣，他的紈絝子弟習性就徹底暴露出來了。
他喜歡珠寶玉器，華美衣物，還有古玩書法字畫，甚至那些風景優美的別墅莊園，但凡是個名士所喜歡的東西，他都喜歡。如果是別人的東西，他也不強搶，他要和你賭博，試問天下有哪個人敢贏他的東西，他要讓你心甘情願的輸給他，而且他聽說哪裏有了漂亮的竹子，美味的鮮果，不遠千裏，都要讓手下人把它給移栽過來。（《晉書。桓玄傳》）
本來，這些毛病都對當時朝廷裏的一些官兒來說，如果他隻是一個普通的身居高位的士族，倒不是什麼大事。可是他不同，他現在是掌一國權柄，皇帝之下，萬萬人之上的人物，他的一舉一動，天下人都在看著，桓玄的這些奢侈放縱的行為開始削減他在健康的名望。
接著，桓玄看到劉裕把盧循給趕到海上去了，可以說天下算是平定了。他迫不及待的想要稱帝了。可是，北府軍的高層將領雖然被桓玄給殺了個幹幹淨淨，但下層的軍兵還是有不少，如果他們反對那怎麼辦？桓玄馬上就想到了新近立功的劉裕，劉裕是桓玄樹立的一杆大旗，隻要歸順於他，都可以像劉裕一樣加官進爵，隻要劉裕也同意，想必北府軍也翻不起什麼大浪來。
於是，桓玄下令讓劉裕把兵權交給坐鎮丹徒的桓修，然後隻身赴彭城上任，那時的彭城是徐州州治，而當時的徐兗二州刺史乃是桓修，可以說劉裕還是在人家的眼皮子底下。
當初，桓玄初次進京掌權的時候，就接連誅殺了吳興太守高素、輔國將軍竺謙之、謙之從兄高平相竺朗之、輔國將軍劉襲、劉襲的弟弟彭城內史季武（《晉書。桓玄傳》），這些人都是北府舊將，劉牢之的死黨親信，劉裕的彭城內史還是接替了北府前輩的職位，偏偏這前輩還是被桓玄給殺了的，可見桓玄這是要把劉裕放在火上烤啊，劉裕還是毫不猶豫地接任了。
現在他剛剛打敗了盧循，桓玄就要他先交兵權再單身赴職，明顯就有過河拆橋的嫌疑，可是劉裕還是很幹脆的答應了，不得不讓人佩服劉裕的隱忍。等劉裕和他的兵馬到了會籍郡時，他以前的好友何無忌這時也從京口趕到了這裏，勸他在這山陰縣起兵，“寄奴兄，我們怎麼說也是一起長大的，我舅舅就是死在了桓玄手裏的，前車之鑒啊。你手上要是沒有兵，生死可就由不得你做主了啊？不如幹脆趁現在你還有兵在手，反了他的。”
對於何無忌的建議，《資治通鑒》上說，劉裕是問計於當地的土豪孔靖，《宋書-武帝本紀》上則沒有相關的記載，但劉裕確實是反對的。筆者認為以劉裕在政治上的頭腦，還需要問一個當地的土豪嗎？就算這個土豪有見識，劉裕應該是借著這個土豪之口拒絕了何無忌的建議，畢竟何無忌與他關係相當的親厚。當初他劉裕一句話，何無忌就跟著他回了京口，現如今劉裕做了大官，何無忌還是一個白身，劉裕也不好意思當麵拒絕他的要求啊。