1955年3月，上海市公安局局長楊帆被捕。4月3日，潘漢年被正式通知，以“內奸”包庇反革命問題逮捕審查。同月中旬，曾達齋接李克農電，乘專車去開會。汽車直接開至監獄大門，曾達齋開始了其長達二十七年，比他為中共工作還要長三年的牢獄之災。
曾達齋於1955年被拘留審查，1965年才正式宣判，被判處有期徒刑十二年，按律本應於兩年後獲釋。1967年曾達齋服刑期滿，但尚未跨出監獄大門，又被“四人幫”列為重點審查對象，姚文元帶打手多次對曾達齋進行審訊，直到服刑期滿二十年。
在獄中，他通讀了《資本論》、馬列著作、《毛澤東選集》，翻譯了大量日文書籍，寫下史料性傳記《大流氓杜月笙》，並且仍然關注著黨的情報事業，寫了近8萬字的《南窗雜記》，總結敵後情報工作經驗。
1975年5月15日，在獄中度過20年零4O天的袁殊告別了秦城監獄，被送到位於武昌大軍山的一個農場。64歲的他，以“不帶帽的就業人員”身份，參加學習和勞動改造，並被允許通過農場管理人員與親屬通信。有了一定程度的自由後，他即著手給原機關老領導寫信，以“生命不息，絕不停步”的執著精神，請求做力所能及的工作。
1977年5月，袁殊被準假25天回京探親，得以與離別20年的子女團聚。20多年恍如隔世，他得知老母親在1971年去世，妻子在“文革”中受迫害離家出走下落不明，不免傷感萬分，但看到兒女們均已成家，工作生活安定，又深感安慰。回到湖北後，他寫了《遙想》詩一首：
骸骨托付軍山上/留於兒孫憑悼長/三春堤上鶯歌柳/暮靄林前燕舞塘/草木百代淩霜勁/江流千載洗沙忙/盛世朝朝新曙色/故國風景更濃妝
曾達齋認為自己會在農場度過餘生，於是訂了一個堅持勞動、堅持學習、堅持節約的計劃。他從每月僅有的22.5元生活費中擠出一部分錢，訂了《紅旗》、《人民日報》、《湖北日報》、《考古》四種報刊。每日除了半天勞動半天集體學習外，晚上的時間他都用來閱讀書報、寫學習心得，還將獄中自己心吟默頌的詩句，憑記憶整理出來。
1978年10月，曾達齋第二次回京探親。他到中組部遞交了要求重新複查自己問題的信函，向高級人民法院遞交了申訴材料。他表示：“就是把我燒成灰，我也是心向共產黨的。”回到農場後，袁殊繼續進行申訴。他在給兒女的信中說：“監獄裏的審訊記錄都是我賴以平反的依據……政治上我對黨問心無愧，這一點我死可瞑目。”他堅信自己能夠得到平反，寫下了《感憤》詩一首：
萬錘難裂百煉鋼/千爍不破一天霜/風雪年年驅病劫/晨星旦暮洗寒光
1978年12月，中共十一屆三中全會召開，確立了“實事求是”的正確路線，給曾達齋帶來了希望，但他卻得了半身不遂。經治療，病情得到緩解。
1980年元月，曾達齋尚未痊愈，便來到北京等待平反。文化界的老朋友薑椿芳、樓適夷、陽翰笙、梅益等前來看望，不僅幫他解決住房困難，還給予經濟方麵的幫助。曾達齋原單位領導專門派人給他送來300元生活補助費，並組成複查小組，重新複查他的問題。
在等待平反的兩年中，曾達齋用已不靈活的右手，日夜伏案寫自己幾十年的社會政治經曆。盡管剛從極“左”陰影中走出的人們認識問題仍有偏頗之處，加上戰爭時期情報工作背景複雜，都是單線聯係，但是曾達齋仍然堅持實事求是的原則，不歪曲曆史，不為能得到平反而說違心的話。
1982年9月，在黨中央為潘漢年平反昭雪、恢複名譽後一個月，受“潘案”株連的曾達齋終於得到平反。9月29日，經最高人民法院組成合議庭合議，認定1955年對曾達齋的判決失實，決定撤銷原判，宣告曾達齋無罪，恢複黨組織生活，袁殊名字也恢複使用。黨組織恢複了他的名譽和黨籍，批準他從國家安全部離休。同年，南京出版社出版了一本《袁殊文集》，收集了他百篇左右各個階段的文章。
1987年11月14日，曾達齋不慎骨折。幾天後，他肺部感染發炎，26日深夜零時30分在解放軍309醫院病逝，終年76歲。12月2日國家安全部機關領導、幹部數百人，在八寶山革命公墓向曾達齋的遺體告別。他的骨灰盒上覆蓋著中國共產黨黨旗，這是對這位“五重間諜”最後也是最好的身份證明。