謝安老了，他覺得自己真的該休息了。北代大業還遠未完成，國內也不太平，但他真的力不從心了。兒孫自有兒孫福，不會他想管就管得了的。
為了避嫌，謝安被迫離開京城，舉家搬到廣陵附近，在那兒修了一座陋府，美其名日“新城”。他雖身遭構害，但仍不失東山之誌，準備等朝廷稍稍穩定，就辭官從水路重返他的會稽樂土。可惜，他的願望還未實現，就患病了。謝安先對廣陵防務作了周密布置，然後才請求朝廷準他回京治病。
當謝安的車輦緩緩駛進建康西州門的時候，病臥車中的謝安傷感地對親近之人說：“以前桓溫在的時候，我常擔心自己不能保全。忽然有一次夢到坐桓溫的車走了十六裏，見到一隻白雞才停下來。坐他的車，預示我替代他的職位；十六裏，意味著我代居宰相十六年而止；白雞主酉，如今太歲在酉，我的病恐怕是好不了啦！”於是，他上疏辭官。幾天後，六十六歲的謝安病卒於京師建康。
謝安死後，朝廷上下遠近之人都以不同的方式憑吊哀悼他。王導的孫子王珣兄弟都是謝家的女婿，因離婚糾紛，更兼政見不合，而跟謝安有了嫌隙，後來仕途頗受謝安壓製。謝安的死訊傳到王珣耳中，他便告訴王獻之說：“我想去哭謝公。”王獻之大出意外，即說：“天下人正等著你。”於是王珣不顧他人目光直奔謝安靈前，慟哭一場，轉身而去。雖不握孝子謝琰之手而出（以示與生者仍然沒什麼好談的），也不得不對亡人人格與功績致以真摯敬意，兩家一段恩怨到此勾銷。
王珣《伯遠帖》，著名的三希堂法帖之一。
謝安在新城居住的時候，在城東北築了一條壩，當地百姓都依賴這土壩捕魚網蝦。他死後，人們為了追念他，給壩起名叫“召伯埭”，以寄托他們的敬慕與哀思。
前來吊念謝安的人中間，還有一個他的同鄉，就是那位賣蒲葵扇的。他忘不了謝安當年幫他渡過難關，來向他表示敬意和思念。
在朝廷的金殿上，圍繞謝安的封諡問題，卻展開了另一場爭論。以司馬道子為首的好利之徒認為謝安生前已占盡風光，不應再加殊禮；而中書令王獻之，中書侍郎徐邈等人則認為謝安盡心竭智輔朝廷，是東晉的勳臣，理應加殊禮。孝武帝司馬曜也終於認識到，沒有謝安，則不會有他和他的皇位，所以詔贈謝安為太傅，封為廬陵郡公。時變境遷，直到劉裕當政後，為了紀念謝安的濟世勳德，還大封其子孫，並讓他們永世祭祀謝安的魂靈。
“舊時王謝堂前燕，飛入尋常百姓家”。東晉謝家的府第車馬、權力財勢都隨曆史的煙雲而消散，但謝安作為一個對曆史有貢獻的人，曆史會永遠記住他的功業和英名。
謝安多才多藝，善行書，通音樂，對儒、道、佛、玄學均有較高的素養。他治國以儒、道互補；作為高門士族，能顧全大局，以謝氏家族利益服從於晉室利益，這與王敦、桓溫之徒形成了鮮明對照。他性情閑雅溫和，處事公允明斷，不專權樹私，不居功自傲，有宰相氣度、儒將風範，這些都是謝安為人稱道的品格。
南宋著名思想家陳亮就曾將王導、謝安並提，指出：“導安相望於數十年間，其端靜寬簡，彌縫輔讚，如出一人，江左百年之業實賴焉。”明清之際，王夫之也說：“安三宰天下，思深而道盡，複古以型今。豈一切苟簡之術所可與議短長哉！”這些古代著名學者從不同角度對謝安的功業給予了充分的肯定。作為一位優秀的政治家和軍事家，謝安是當之無愧的。