謝靈運，陳郡陽夏人。祖父謝玄，是晉代的車騎將軍。父親謝王奐，從小便不聰明，當過秘書郎，很早就死了。謝靈運很小的時候就聰慧過人，謝玄十分看重他，跟親近的人說：“我生了謝王奐，謝王奐怎麼能生靈運呢！”
謝靈運從小便愛讀書，博覽經史，他寫的文章非常漂亮，江南幾乎沒人趕得上，堂叔謝混尤其喜歡他。謝靈運繼承祖父的爵位，被封為康樂公，享受兩千戶的稅收待遇。援引先例，謝靈運被朝廷授予員外散騎侍郎的職務，謝靈運沒有到任，但他卻接受了琅王牙王的大司馬行參軍的官職。謝靈運性情奢侈喜愛豪華，他車子的裝璜鮮豔而美麗，他的衣著玩的用的東西，無不改變以往的舊樣式，世人都學他的樣子跟著變，人們都叫他謝康樂。撫軍將軍劉毅鎮守姑孰，用他當記室參軍。劉毅鎮守江陵，又讓他當衛軍從事中郎。劉毅被殺後，高祖劉裕用他當太尉參軍。回到京城後做秘書郎，又因事而被罷免。
武帝劉裕因事征討後秦姚氏，驃騎將軍劉道憐留守都城，謝靈運被用為諮議參軍。再轉調當中書侍郎，又當世子中軍諮議、黃門侍郎。謝靈運奉命出使彭城，慰勞世祖劉駿，寫了《撰征賦》。
回來仍然被任命為宋國黃門侍郎，再升任相國從事中郎，世子左衛帥，因為擅自處死門生，被免除官職。宋武帝劉裕做皇帝，謝靈運的公爵被降為侯爵，享受五百戶的稅收待遇，又出任散騎常侍，轉任太子左衛帥。謝靈運天性偏激，常常有觸犯禮法律令的行為。朝廷隻把他看成有些文才的人，而不是有學識才幹的政治家。而他自己卻認為有水平參與國家大政，現在既然不被賞識，經常憤憤不平。廬陵王劉義真幼時便喜好文學，和謝靈運有很好的關係。少帝當皇帝時，權力掌握在大臣的手上，謝靈運在中間挑撥離間，誹謗當權的人。司徒徐羨之等人很怕他，讓他出外當永嘉太守。永嘉郡有很多名山秀水，他一貫喜歡遊山玩水，因為他是被排擠出來的，於是便任情地遨遊，足跡幾乎踏遍了每一個縣，每次出遊，動不動便上十天，老百姓的訴訟，他一概不管。謝靈運無論到哪個地方，都吟詩作賦，表達他的感受和心意。在郡上任職隻一年，便稱有病離職。他的堂弟謝晦、謝曜、謝弘微等都寫信勸阻他。謝靈運根本不聽。
謝靈運祖父和父親都安葬在伯寧縣，那裏有他家的老屋和別墅。於是他自動改成會稽郡籍貫，在那裏修建房屋和莊園，他的居處前瞰環環的秀水，後背巍巍的大山，極盡幽深靜謐的風致。他和隱士王弘之、孔淳之等逍遙放縱，以此為樂，常有在這裏安度餘年的打算。他每一首詩被傳到京城，無論貴賤競相抄寫，一夜之間，官吏百姓便知曉熟悉了。遠近四方的人非常仰慕他，他的名聲震動京城。
文帝當皇帝，徐羨之等被殺，謝靈運被調為秘書監，兩次被召見，謝靈運都沒理睬。文帝派光祿大夫範泰寫信給謝靈運稱賞他，他才應召就任。文帝叫他整理秘書省的圖書，補增遺漏的地方，又因為有晉一代沒有一本完整的曆史書，所以叫謝靈運寫一本《晉書》，他寫出粗略提綱，但這書終究沒有寫成。不久又升任侍中，每天早晚被召見，很得文帝的寵愛。謝靈運的文章書法都獨步當時，他每次作文，都親筆抄錄，文帝稱他的文章和墨跡為二寶。既然自己是名人，謝靈運覺得自己應該參與朝政，開始被召見時，便這樣自許，但召見之後，文帝隻把他當成一個文人而已。他每次和文帝在一起喝酒時，文帝不過讓他談論詩文而已。王曇首、王華、殷景仁等人，名聲爵位一直在他之下，卻同時被寵待，謝靈運心中不滿，往往推說自己有病而不上朝，隻管修築池塘、種植花樹、移栽修竹、擺弄香草而已，他驅使為國家服勞役的人，簡直無休無止。出城遊玩，有時一天走一百六七十裏，往往上十天不回來，既不上書請示，也不請假。文帝不想傷害大臣，暗示他主動辭官。謝靈運於是上表陳述自己有病，文帝讓他休假回到東方。他臨行之前，又上了一道奏疏勸文帝北伐。文章說：
從中原淪陷以來，一百多年，百姓淪落敵人之手，已被異族統治，先帝聰明神聖，憐憫中原人民苦難，希望蕩平河北，統一中國，讓中原撥亂反正，遺民重歸中華。但時運有變，大業未成，理想還未實現，先帝便抱恨而逝。況且先帝下葬不久，敵人便來侵略，有誌忠義之人，誰不想激奮而起，為國報仇？但少帝時的執政大臣，才能平庸，隻在朝廷製造混亂，哪裏顧得上先帝的囑托。於是邊城陷入敵手，無人願意赴援，忠貞為國之士被敵俘虜，黃河流域的大好河山，終於落入敵手，這些淪陷的疆土，都是先帝時開辟的，淪陷敵人之後，國家的這個恥辱應該被洗刷，現在應該準備做這個工作。況且敵占區的人民，窮困悲苦，敵人賦斂無度，沒有止境，人民如果不按時交稅，便被屠殺。要是他一身不能保命，則全家被株連，滿門遭殃，鄉親也會不幸。這些確實是叫善良的人們痛心不已憤慨之極的。
人們都說西邊敵人舍本逐末，出兵隴外，東邊的敵人北進，我軍可以趁機掩襲，待西邊的敵人返回後，我軍得以據有關中，包圍鹹陽，敵人回來的路便已截斷，縱然想派兵支援，隻能遠襲大城附近的我軍，以便內外相應。但是此時我軍有深山險關作為護衛，根本已固，即使敵人想增援，隻不過丟下他的老巢，但並不能拯救他們自己。外麵的敵人疲憊不堪，內麵則空虛不守，關鍵的時機，沒有比這時更恰當的，炫耀兵力顯示武力，正在當時，如果和敵人相持不已，也許會生出意外事變，再遇到新的敵人，則和開始時機不同，如果不抓住這個好機會，就很難建立大功，即使兵力眾多，糧食充足，但是得勝的可能性不一定有了。縱觀古代曆史，都是以吞並弱小為契機進行統一的，古今的所有英雄沒有例外的，難道那時不是天時人事機會難得，興亡可以判明，正在當時。所以古人說：“既看見敵人有天災降臨，又看到他的矛盾重重，才可以打他的主意。”當年魏國的強大，平定荊州和冀州，不過是利用了劉表和袁紹的衰弱機會；晉國的強盛，消滅吳國和蜀國，也是利用諸葛亮陸遜們不在的時機，這都是以前固有的例子，在史書上寫得清清楚楚的。從後秦姚氏被平定以後，天下人都認為胡人會消滅。我們應該直指滑台，席卷敵人各個城市，讓敵人膽破心裂，然後指日平定北方。但是長安失守，潼關淪陷，敵人得以保命，延長他們生存的時間，從那時到現在，已十有二年，達到一紀的時期，所以我有前麵的這些看法。況且五胡互相替代很快，他們的最後時期，正在明年。他們相互攻擊，我們應該加以利用，卞莊子刺虎的態勢，就好比今天的形勢。北方的人民仰望皇上的恩德，好像饑渴的人想飲水吃飯一樣，南望我朝，已很長很長時間了。人民重見天日的希望，確實在陛下的身上，這個機會不利用，以後便沒有了。盡管今日國家的儲蓄，確實不多，然而辦大事需要國家富強，不尋找機會，那是很容易做的，但是抓住機會更難得。現在的武器戰具多了，兵力擴充了，遠遠超過從前。至於出兵獲勝的成果，其中可以得到冀州的一百多萬戶口，以及充足的田地租稅。冀州的富饒，在《禹貢》裏便說得很清楚，先賢們創立的基業，巍巍尚在。那裏水源充足，平原上滿布桑黍麥粟，那裏富足的物力人力，再清楚不過了。仔細為國家打算，這個收獲遠遠大於出兵北方的費用！