成年後，襲祖職，“封康樂公，食邑三千戶”，由於這樣一個極其優裕的貴族世家的環境，又有這樣一個淵源流長的家族文化背景，養成他自由不羈、放任奢豪的性格。隱則自詡為山中宰相，出則宮掖為太子賓客；在家田連阡陌，富甲一方，在官率意而為，放任行事。史書稱他“車服鮮麗，衣裳器物多改舊製，世共宗之”（均見《宋書·本傳》）。他“每出入，自扶接者常數人，民間謠曰：‘四人攜衣裙，三人捉坐席’是也”（《宋書·五行誌》）。尤其“好為山澤之遊，窮幽極險，從者數百人，伐木開徑，百姓驚擾，以為山賊”（《資治通鑒·宋紀四》）。這樣的遊山玩水，謝大詩人也太過分了。
由此略知他的一生，也可以說是雅皮士的一生。按他領導服裝新潮流的勇氣來說，要是生在今天的話，也許會成為皮爾·卡丹式的人物。然而，他不滿足於這種闊綽的生活，因為他“文章之美，與顏延之為江左第一，縱橫俊發，過於延之”。這些名氣、聲望、成就，加上自負，那根詩人的神經，就開始膨脹起來，漸漸不安於位，總是討價還價，“自謂才能宜參權要，常懷憤邑”，一門心思要做官，而且要做大官了。
他甚至插手政權的最高層的矛盾，《資治通鑒·宋紀二》載：“南豫州刺史廬陵王（劉）義真，警悟愛文義，而性輕易，與太子左率衛謝靈運，員外常侍顏延之，慧琳道人情好款密。嚐雲：‘得誌之日，以靈運，延之為宰相、慧琳為西豫州都督。’”能夠得到如此明確的許諾，可見在宮廷鬥爭中卷入之深。凡錯誤地估計客觀形勢的人，總是先對自己估量錯了。詩人根本不知道自己吃幾碗幹飯，不知道天高地厚、東南西北，這就是可怕的感覺誤區了。
進入這種誤區的文人，不是伸手想撈點什麼，就是張嘴想說點什麼，總而言之一句話，就是不那麼安分了。
但謝靈運偏熱衷於仕途，天真的詩人哪是職業政客的對手呢？“徐羨之等惡義真與靈運等遊，義真故吏範晏從容戒之，義真曰：‘靈運空疏，延之隘薄，魏文帝所謂文人類不護細行者也，但性情所得，未能忘言於悟賞耳。’於是羨之等以為靈運，延之構扇異同，非毀執政，出靈運為永嘉太守，延之為始興太守。”他沒有想到，劉義真為之說好話的結果，連這位候補皇太子也給外放了。
後來大臣們到底把劉義真幹掉，擁立了劉義真的弟弟劉義隆。刀光劍影，血灑宮廷，還不足以使謝靈運清醒，詩人總是看到對自己有利的一麵，而神魂顛倒。因為宋文帝還建康後，征他為秘書監，“賞遇甚厚”，便又二百五起來了。
其實，封建統治者看詩人，比喻得動聽一點，牆上掛的一幅字畫，蛋糕上嵌的一顆紅櫻桃，中看不中用的裝飾品而已。《宋書·本傳》載：謝靈運“既自以名輩才分應參時政，初被召，便以此自許。既至，文帝唯以文義見接，每侍宴談賞而已”。賞花吟月，陪坐聊天，奉旨賦詩，歌功頌德，謝先生的任務，也就是擺擺樣子的，表明皇帝如何地偃武修文，如何地尊儒重士，如何地太平氣象外，陪著開開心，解解悶，便得龍顏大悅，也就該打道回府。謝靈運不明白這個道理，所謂禦用文人，和給皇帝搓背捏腳、按摩撓癢的小太監們，那地位也差不太多的，不過是要讓皇帝舒服罷了。但是，“王曇首、王華、殷景仁，名位素出靈運下，並見任遇，靈運意甚不平，多稱疾不朝直；或出郭遊行，且二百裏，經旬不歸，既無表聞，又不請急”。
謝靈運以為鬧鬧情緒，甩甩架子，給皇帝一點顏色看看，會對他另眼相待。這就是詩人在自討沒趣了，皇帝會在乎他一個詩人的去留嗎，就算所有的詩人，都患了霍痢拉，死光了，劉義隆不照樣當他的皇帝？於是，一紙公文，將謝靈運解職回家，給了他一點麵子，算是他請了病假。回到會稽的詩人，神經依舊，略無收斂之意，“遊飲自若”，前麵提到的他一人出行，二百隨從的逢山開路，遇水搭橋，嚇得地方當局以為來了什麼叛軍，更加以防範的旅遊，足以說明詩人張狂到何等程度。結果“為有司所糾”，“坐免官”。後來，又被他的反對派狠狠奏了一本，誣告他“買兵器，結健兒”，要謀反，皇帝惱火了，“詔於廣州棄市”。
司馬光說：“靈運恃才放逸，多所陵忽，故及於禍。”詩人隻活了42歲，正是創作旺期，把腦袋玩掉了。如果他不那麼折騰，不那麼張狂，不那麼樹敵，就寫他的山水詩，當他的大詩人，也許不至於弄到殺頭的地步。但走進了感覺誤區的人，能有陶淵明那後來的悟性，也不易。這也就是我們在文壇上，經常可以見識到的，那些老少二百五們的表演，所為何來的原因了。
這樣，固然多了一份熱鬧，但有這工夫多寫點東西不更好麼？