曹丕的猜疑迫害中了卻殘生。《怨歌行》一詩中曹植慨歎當皇上的難，做臣子的也難，皇上
看不到忠臣的心，反而要加以猜忌。當是時，桓伊撫箏而歌，“聲節慷慨，俯仰可觀”，箏聲
清揚，笛聲宛轉。謝安，縱得到前方破敵捷報後猶能若無其事從容續弈，此刻也為之動容）
謝安：（泣下沾衿，快步走出自己的席位，來到桓伊身側對）
使君於此不凡！
司馬曜：（甚有愧色）
（桓、謝兩家俱為東晉高門望族，於朝政所見不一，素不相能，桓伊豈有不知？然謝安任相以來老成持重，公忠體國，行德政，安黎元，甚得民心。是以桓伊不囿於門戶之見，以管弦絲竹巧諫孝武帝，為賢相辯誣）
東晉統治集團是一群腐朽的氏族門閥，他們根本不去理解謝安的一片忠心、苦心，他們懼怕謝氏功高震主，成為“新的軍閥勢力”，於是把征戰中的北伐部隊撤回來，寧肯偏安江南。孝武帝還把才20歲的胞弟會稽王司馬道子錄為尚書事，與謝安“共掌朝政”，兄弟倆聯合起來排擠謝安。
385年正月，謝安決定交權，離開京城，出鎮廣陵之步丘(今揚州北25裏)，謝安在權力鬥爭中，夙誌未酬而抑鬱得病，遂向朝廷要求回京療疾，並要求把兒子謝琰召回，“解甲息徒”，朝廷一一照準。同年八月二十二日，公曆10月12日)，一代名將溘然長逝，享年66歲。
謝安死後贈太傅，諡文靖，葬於建康梅嶺，亦稱梅嶺崗(今雨花台下)。謝安功高蓋世，無法用文字語言表達出來，故在墓前立一無字碑，千秋功過讓後人評說。同年十月，朝廷論平苻堅功勳，謝安更封廬陵郡公，同時封謝石為南康公，謝玄為康樂公，謝琰為望蔡公。
徐邈：萬歲，謝太傅謝世，葬儀應加殊禮。
司馬曜：徐愛卿說給大家聽聽。
徐邈：謝太傅一代名相，忠心為國，肥水之戰，運籌帷幄，使東晉免遭覆亡之難，選拔人才，任人唯賢，推行改革，增強國力，如今這樣的國家柱石謝世，我們有什麼理由不加殊禮？
王獻之：萬歲，徐大人所言甚是。
司馬曜：好，就依徐愛卿所言，謝太傅葬禮加殊禮。
（王珣曾為謝家夫婿，因婚姻和謝安關係很僵，聽說謝安死亡的消息，他跑到王獻之跟前）
王珣：王尚書令，我要去哭拜謝公！
王獻之：你們兩家不是老死不相往來了嗎？
王珣：謝太傅一生磊落，對朝廷忠心不二，淝水之戰挽救了國家，我們都受了他的福陰，我要是不來哭奠祭拜，天理何在，良心何安？
王獻之：你當然應該去祭拜，男子漢的胸襟能是兒女情所能禁錮的了的！
王珣：王尚書，要是我去祭拜，謝家人不讓我入靈棚，我可怎生是好？
王獻之：那就看你的造化了。
（王珣去謝家祭拜，果然被謝琰擋住了）
謝琰：家父生前就不願意看到你，不讓你再入謝氏家門！
（王珣也不顧什麼了，直接闖門而入，高聲哭拜）
王珣：（哭天搶地，聲嘶力竭）太傅呀，您儒雅風流冠絕古今呀，晚生不能在您生前學習，還讓您生氣，晚生無地自容呀！太傅呀，你忠心為國功高蓋世卻遭到誣陷，您一世英名將萬古流芳啊！
（隻見王珣梆梆梆磕三個響頭，轉身而去）