淝水戰後南方內部矛盾複雜。一是上下遊即桓氏與謝氏的矛盾。這一矛盾，由於太元九年桓衝死後謝安未並吞其地境，而以桓豁諸子以及桓伊分督荊、江、豫州，妥善解決。另一矛盾，即司馬氏與謝氏的矛盾，在淝戰前夕以司馬道子與謝安共錄尚書事而微有暴露。淝戰後久不封賞，較明顯地暴露了這一矛盾。加以讒毀迭起，謝安越來越不能自安於中樞職任，不得不於太元九年八月自請北征，並於十年四月出居廣陵，八月死。司馬道子遂得為揚州刺史、錄尚書事、都督中外諸軍事，完全排除了謝氏在中樞的存在。這樣，謝玄也不能自安於北府之任，加以北伐失利和疾病的原因，於太元十二年正月退就會稽內史職，十三年正月死。這是陳郡謝氏家族曆史發生重大轉折的一年。
謝玄解駕東歸以至於死，標誌著謝氏門戶越過了其發展的頂點。從此以後，謝氏家族再未產生頂梁柱一般的人物，隻是在一個時期內還保留著對北府兵的影響，這通過謝琰的活動可以看出。
謝琰為謝安之子。謝安死後十餘年間，即東晉孝武帝與會稽王司馬道子主相相持以及太原王氏兩支分助主相的這一時期中，謝氏家族人物包括謝琰，均無所作為，這是謝氏家族在政治上受到壓抑的結果。隆安元年（397年）王恭在京口謀反，朝廷始假琰節都督前鋒軍事，領兵征討。這顯然是由於陳郡謝氏門戶可以當太原王氏門戶，而謝琰與北府又有曆史淵源，司馬道子欲加利用的緣故。王恭事件平息後，謝琰於隆安三年遷衛將軍、徐州刺史，假節。依照晉製，假節雖有在軍事時期可殺犯軍令者之權，但謝琰為刺史假節而不得為都督，畢竟隻是單車刺史，與都督徐兗諸州軍事的劉牢之相比，勢力大不相同。朝廷此授，不過是在王恭事平之後欲以謝琰平衡劉牢之而已。
孫恩叛亂時，朝廷才命謝琰督吳興、義興二郡軍事以鎮壓之。隆安三年，謝琰以徐州刺史加會稽內史、都督五郡軍事。到此為止，謝琰始有較大的軍事實力。
隆安四年，謝琰戰敗被殺，謝氏門戶力量更衰。此後的謝氏人物，同其他的士族高門人物一樣，都不得不陸續投靠出自北府將的劉裕或劉毅，不再能獨樹一幟，曆史上真正的門閥政治，從此就趨於破壞。
門閥政治作為一種消失了的政治格局，在劉宋時還有較強的餘波。治國需要知識，而通曉朝典、諸悉人物、具有治國知識的人，在當時隻有士族。可以幫助皇帝實現統治的寒門知識分子，其出現並發揮作用還須一段發育時間。劉宋文帝元嘉一朝，決斷權無例外地屬於皇帝自己，但是朝廷中王、謝士族充斥，大事都有他們插手。文帝為了實現皇權政治，有魄力誅殺前朝顧命大臣徐羨之、謝晦等人。但是《資治通鑒》上說：“帝之始親政事也，委任王華、王曇首、殷景仁、謝弘微、劉湛，次則範曄、沈演之、庾炳之，最後江湛、徐湛之、何瑀之及王僧綽，凡十二人。”這又說明宋文帝的皇權政治，還十分需要士族人物作為自己的拐杖。此後雖然有寒人知識分子逐漸進入曆史舞台，但是門閥士族在文化、社會、政治上的影響依然存在。他們居高位而驕矜作態的表現，在南朝曆史上竟比東晉時突出得多。
關於陳郡謝氏，史學界曾注意到一個顯著的問題，即謝氏人物被孫恩起義群眾殺戮的，比其它士族門戶都多。謝氏被殺人物之著名者，計有謝安之子謝琰，謝琰之子謝肇、謝峻，謝鐵之子謝邈、謝衝，謝衝之子謝明慧等。謝奕之女謝道韞，差一點與丈夫王凝之一同死於會稽。究其原因，可能除了孫恩與長期執政的東晉門閥士族的一般矛盾以外，還有孫恩與謝氏的特殊矛盾。謝氏是孫恩起事之時影響最大的一家門閥士族。孫恩起事，首先是反對當權的司馬元顯，同時也特別仇視其時最有影響的士族謝氏。謝氏家族的經濟勢力在三吳擴展，也較其它門閥士族要顯著一些。所以謝氏人物或居家或為官在三吳者，在孫恩起事的戰鬥中首當其衝。
孫恩起兵地點原擬在以謝邈為太守的吳興郡而不是以王凝之為內史的會稽郡。孫恩曾為謝邈門下客的從者，往來於吳興郡中，熟悉謝邈及謝氏家族情況。吳興起兵因故不果，始改會稽，但謝氏人物死於孫恩之役者，仍以吳興郡為多。
孫恩起事以後，主要的戰場對手，一個是以徐州刺史督吳興、義興兩郡軍事，後來又以會稽內史督五郡軍事的謝琰，謝琰不久即被孫恩軍殺死；另一個是統領北府兵的劉牢之，而北府兵與謝氏家族關係的密切，是人所共知的。這也是孫恩與謝氏家族矛盾表現得特別尖銳的一個原因。
晉末以來，幾家最高的門閥士族，以謝氏影響最深，潛力最大，所以謝氏人物參預政治的機會，也較其它家族為多。在晉宋皇權複興之際，謝氏這樣的家族，對於皇權說來，既最有利用的價值，又最具生事的危險。所以自東晉義熙年間劉裕當權以後，以迄劉宋之間，謝氏家族人物被劉宋殺戮者，比其它高門都要多，計有謝混、謝晦、謝靈運、謝綜、謝約等人，其中謝混是謝琰之子，謝靈運是謝玄之孫。聯係到農民暴動中士族被殺者也以謝氏為多的事實，不能不認為其中有共同的原因。