劉裕自覺這樣做沒有錯，因為他自己就是出身底層，可是出身高門的世家們會怎麼想了，這劉裕可是要削弱他們的根基啊。其實東晉朝廷雖然名義上是司馬氏皇族做主，可是這執政的都是世家大族，按順序依次來是琅琊王氏，穎川庾氏，譙國桓氏，陳郡謝氏四大家族，代表人物就是王導，瘐亮，桓溫，謝安。
這四大家族中桓氏與謝氏一開始都不是東晉的高門士族，他們是在自身為朝廷立了巨大功勳之後才得以晉位頂級豪門之列，對於世家來說，你們次等士族可以進位上等士族，現在你劉裕掌大權，你劉氏也可以成為朝廷的頂級大家族，但是有一條，那就是你要遵守這個遊戲規格，那就是維持世家的統治。可是劉裕顯然沒有做到這一點。
不久之後，安帝加封劉裕為太尉，中書監這兩個職務，劉裕這次沒有推脫，反而是很爽快地答應下來了，世家們都以為劉裕接受了這次加封之後，應該就會安靜下來，可是劉裕又一次把那些世家們給惹毛了。
朝廷選拔官員，一個主要渠道是各地州郡推薦的秀才、孝廉人選。秀才要求有文化，孝廉要求品德好，再由朝廷進行文化考試，合格者才能錄用，這個製度從漢代開始實行，一直用了幾百年，但自魏晉九品中正製實行以後，百餘年來士族門閥控製了秀、孝選拔，他們的子孫不管有無才幹，都可以通過這個名目，不用考試直接做官，劉裕此時向皇帝呈請批準，恢複對秀才、孝廉的考試製度，晉安帝就是劉裕幫蓋章寫聖旨的，劉裕說什麼就是什麼。
劉裕的用人製度，隻看才能品行，而不計較其出身高低，也不計較與自己有無恩怨，當然，他的親屬隻要稍有能力，都會位居高官，這是他控製政局的需要，但除此之外，他從不用隻會阿諛奉承的無能之徒，有人認為跟隨他發跡的，都是其京口鄉黨舊部，但劉裕從不介意從舊日敵人中選拔人才，像沈林子兄弟，本是跟著孫天師的要犯；胡藩是桓玄的部屬；平燕時招降的垣氏家族，這些人在他死後，仍在軍、政領域起著重要作用。
劉裕這是要打破世家們名正言順繼承官位的權利啊。如果說當初劉裕殺虞亮是為了削弱世家，他們還可以容忍，畢竟朝廷的情況他們也不是傻子，他們也了解，他們也知道，可是劉裕現在的情況就是要跟斷了他們的根差不多，要是他們的子孫做不了官還怎麼維持世家的統治，這天下的官兒總共就那麼多，那些泥腿子上來一個，那我們這些高貴的世家子弟不就是少了一個名額？
觀劉裕現在的作風，他生活檢樸，可以看做是一貫以來的習慣，當初王導桓溫初掌權時也是如此，沒有什麼奇怪的，可是劉裕為了虞亮私藏了一千口人就把他給殺了，然後又要讓那些泥腿子搶我們世家子弟的入仕名額，這個性質就不一樣了，劉寄奴這是在破壞我們世家朝政的規則，他難道是想學桓玄，圖謀不軌？即便是他沒有這個想法，憑他現在所做的事，他也應該下台了。當然，這是某些豪門世家商議之後共同決定的。
但是，劉裕是那麼容易下台的嗎？他如今是當朝錄尚書事，掌握朝政，皇帝就是專門幫他蓋章的，還有他現在是朝廷的車騎將軍，北府的軍權也掌握在他的手中，軍中的士卒把他戰神一樣看待，還有，這次保衛建康城的戰鬥，他再立功勳，在建康人心中，就是皇帝的威信也沒有他大吧。他現在是集軍政大權，崇高聲望於一身，有那麼容易被推翻嗎？