劉裕也不肯接受，他知道自己現在的根基很薄弱，在朝中眾多的高門眼中，他就是一個暴發戶，雖然立下了不小的功勞，可是想要涉足朝堂，現在還不行。安帝甚至親自駕臨劉裕的府邸，勸他留下輔政，劉裕越加的惶恐，堅持要回地方，到了這個時候，劉裕哪還不明白，肯定是有人要對付他，想要把他架在火上烤啊。
劉裕不同意在朝輔政，高興壞了好多人，也讓很多人失望了。其實劉裕心裏想得很明白，隻要王謐在朝一天，他就不用入朝當別人的靶子。正好這時，被任命為荊州刺史的司馬休之居然被桓振給趕回來了，安帝就讓魏昶之代替他去荊州任刺史。
要說桓振還真是一個不服輸的人物，其他的桓氏族人大多都北逃投奔後秦皇帝姚興去了，而他卻糾集了人馬在江陵打敗了前來接任荊州刺史的司馬休之，又占據了江陵城。隻不過這也是他最後一次向世人顯示他的光輝了，建威將軍劉懷肅從雲杜（今湖北京山縣新市鎮，屬當時的南郡管轄）帶兵迅速趕到，在沙橋與桓振展開決戰。劉毅派遣廣武將軍唐興前來助戰，在戰場上將桓振殺死，重新奪回江陵。
四月的時候，劉裕回到了京口，朝廷改任他為都督荊、司等十六州諸軍事，兼任兗州刺史之職，這一回暗中的較量應該是劉裕勝了。
此時，朝廷對於實際上占領了交廣兩州的盧循也作了回覆，正式任命盧循為廣州刺史，徐道覆為始興（今廣東韶關）相，承認他們對於廣州的占領是合法的，並且要把原先的廣州刺史吳隱之交還給朝廷，原因是交廣兩州在朝中諸位大佬的眼中是蠻荒未開化的地方，隻是桓氏現在剛剛剿滅，各地的零星小叛亂還不斷，暫時沒有精力來管他們。
史上傳聞，因為盧循出身於世家子弟，他現在雖然當了賊寇之首，卻依然看不起劉裕等人，他私下裏派人送了“益智粽”給劉裕，以諷刺他粗疏不通文墨。而劉裕也毫不客氣，以”續命湯”回贈，暗示盧循現在是苟活於番禺，這條命早晚要被朝廷給收回。（《資治通鑒-一一四卷》）
劉裕等人都是起義擁戴安帝複位，他們的官職也大多是這個功勞封上來的，因些劉裕這些人就被稱為”建義諸人”，當時在東晉政壇上占據著舉足輕重的地位。
當初，劉敬宣南歸的時候，劉裕就準備讓他做江州刺史，可是劉毅這時給劉裕寫了一封信，信上是這麼說的，“劉兄，劉敬宣又不是建義出身，現在您麾下有許多立過大功的人還沒有封賞，劉敬宣就靠後一點吧，就算您念著以前的懷誼，給員外侍郎什麼的就可以打發他了。”
劉裕也知道劉毅說的有道理，現在就算是讓劉敬宣做了江州刺史也不能服眾，於是就讓劉敬宣做了宣城內史，後來劉敬宣立了大功，才讓他做江州刺史，不過劉敬宣和劉毅兩人的梁子就算結下了。
可是劉毅為什麼要說劉敬宣的壞話了，起因就是當年劉敬宣得勢的時候，劉毅正好在他手下做寧朔參軍，那時候有許多人就說劉毅是個大英雄，劉敬宣卻說道，“非常人自有他的胸懷和氣度，他也不算什麼英雄豪傑，依我之見，這個人外表寬厚，但內裏卻氣量狹小，又自視甚高，總想居於別人之上，將來他一旦掌握大權，一定會因為犯上招來禍患。”（《資治通鑒。一一四卷》）
當時的劉敬宣父親劉牢之還在位，說這番話也不怕傳到劉毅耳邊裏去，可是劉毅從此就把劉敬宣給恨上了。