位於京郊以南的團河農場條件不錯，是屬於北京市公安局所屬的勞改農場。在公安部徐子榮副部長的親自安排下，潘漢年和董慧就在團河農場安了家。
潘漢年和董慧這個家是一所小樓房，還有一個小小的院落，可謂是獨門獨院擴住房條件相當優裕，再加上沒有城市的喧鬧和汙染，真是頤養天年的好地方。
潘漢年雖是被剝奪政治權利終身的“罪犯”，但每月發給他的生活費是二百元；董慧以無罪之身相陪，自應恢複她的處級幹部的工資。這樣加起來，他們夫婦每月的薪水就有三百五十元左右了。那時，北京市麵上最好的帶魚不到四角錢，而且他們夫婦上無老人需要撫養，下無子女需要他們供給，這在中國來說是相當不錯的人家了。
團河農場雖屬勞改農場，但潘漢年這位特殊的“犯人”卻無需參加繁重的體力勞動。加之徐子榮副部長有所交待，而且還曾親自帶著另外兩位副部長來看過潘漢年。對此，團河農場的負責人自然心領神會，給潘漢年和董慧的方便那是很多的。平時，潘漢年在屬於他的院落中養花種樹，董慧像個家庭主婦似地料理家務；天氣好的時候，潘漢年還可以到附近的河溝裏釣魚，碰到運氣好的時候，他們夫婦二人都可以顯示一下自己做魚的手藝，美美地吃上一頓活魚宴。
潘漢年和董慧這對矢誌不渝的恩愛夫妻，曆經整整八年的煉獄之火的洗禮之後，他們之間的情感似乎越發的“老而彌堅”了。感情就是這樣的不可捉摸，越是人為地想把它拉遠或者分開，它越是貼得很近很緊，一旦出現這種劫後重逢，它就會神使鬼差地融合在一起―什麼力量也不能把它分離！這時的潘漢年和一董慧，每時每刻都沉浸在這種特殊的情感享受之中。
雖說潘漢年和董慧自打相識到入獄，前後長達二十幾年頭，但由於環境和工作等方麵的原因，他們把本來應屬於自己的小小的情感天地，也無私地獻給了新中國的再生。大凡熟悉他們夫婦的戰友和部屬，都知道他們沒有度過結婚蜜月，也沒有利用職權和工作之便相偕休過假，至於他們夫妻為伴去領略名山大川的自然神韻的事情，與這兩位令山河變色的不屈的戰士則更是無緣。如今他們從孤獨、苦悶的鐵窗牢房中回歸到大自然的懷抱中來，那種對真摯而又溫馨的情感的吸吮和品味，是一般人難以領略出其中的真味的。
遺憾的是，潘漢年和董慧從真正的超心超俗，未等完全醉入這醇厚的大自然所獨有的“酒香”中，他們就又驚醒過來，一種難以名狀的委屈和不安的情緒又打心底湧起，再次為自己的政治生命優慮和期待。
徐子榮副部長是為了體現黨的寬大政策，還是有意把潘漢年和董慧從這種委屈和不安的情緒中解脫出來？他再次來到了團河農場，並請北京市的有關部門的負責人和潘漢年吃了一次飯。旋即又對潘漢年說：
“你現在有時間了，我看可以寫些回憶資料，特別是有關情報工作方麵的曆史資料。”
潘漢年雖然是一位作家出身的情報戰線上的指揮員，在漫長的對敵鬥智過程中，他想的和做的都是戰勝對手，創造情報戰線的厲史，確實未曾想過親自動筆寫情報戰線曆史的事情。1955年4月3日，他這位中共情報戰線上的功臣，一夜之間變成了頭號罪人。從此，他年年月月，天天時時，都要違拗心願地把自己在情報戰線七創造的功績寫成罪行。更為可悲的是，又依據他自己－－價一還有極少數別有用心的揭發者把功績寫成罪行的材料，他被打成“內奸”、“反革命”，還明令剝奪其政治權利終身。要他在這種平靜的田園式的生活巾再寫這種曆史資料，無疑是一種精神上的苦役。他無論如何不願幹這種事情！
但是，潘漢年一向知人之情－一更何況徐子榮副部長這一良苦用心絕無惡意，如婉言相拒，那真是情之不恭。所以，他表麵上愉快地答應了。當他真的拿起筆寫自己這些曆史的時候，他．又痛苦萬分，難不堪言。他在團河農場平靜地住了四年時間，一個當年下筆萬言，立馬可待的才子，僅僅把他在30年代中央保衛機關的經曆寫了四萬多字的材料，就再也寫不下去了。因為他在黨中央的領導下為促成國共第二次合作的豐功偉業，以及在抗日戰爭中打入日偽敵特核心機關的光榮曆史全都變成了他充當“內奸”的反革命罪狀，他豈能真實地寫下來呢！不能！
我以為這就是潘漢年沒有寫完自己的回憶錄的所在。
對此，有些專著有不同的看法。其一是說“文革”中，監管潘漢年的人給燒了。據分析可能性不大，因到現在為止找不到根據，隻是一種大膽地藝術編造；其二是說“文革”中遺失了，這也是一種沒有事實為根據的推斷。
雖說筆者對此提出了自己的拙見，但就筆者的願望而言，也是希望潘漢年已經寫完了自己的回憶錄，隻是在“文革”中遺失了。因為大凡遣失都是失有其因，這就意味著有失而複得的可能。果真如此，那真是再好不過廠。
還是這次見麵中，徐子榮副部長指示，允許潘漢年和董慧進城探親訪友。
能夠自由地離開團河農場，進北京城裏去看看，這對潘漢年和董慧而言，無疑是天大的喜訊。轉眼八年多了，他們夫婦雖然沒有離開過北京市的地麵，但偉大的首都對他們夫婦而言，是實行無產階級專政的地方，因此，他們隻有從《人民日報》，上才了解一些故都新貌的情況。他們永遠也不會忘記第一次來到作為首都的北京，站立在天安門廠場，長久凝視懸掛在天安門城樓上的毛主席畫像時的感慨。他們當時都堅信這樣一種結論：從此一個新的中國誕生了！他們作為毛澤東同誌的屬下，為催生新的中國貢獻了自己的力量！
說起進城探親訪友，潘漢年和董慧卻又猶豫起來。是無臉見江東父老的自尊心在作祟，還是怕給昔日的戰友和屬下增加不必要的政治麻煩？總之，他們夫妻之間盡管不止一次地猜想、或議論每一位老朋友的情況，可他們都一致同意：進城隻買生活必須品，不拜訪京城中的任何一位朋友。
然而，“上帝”似乎專門與潘漢年和董慧作對。他們這時最想見到的―同時也是最不願意看見的就是陳毅同誌―盡管他們夫婦不止一次地看著刊在《人民日報》上的陳毅外長的照片談憶起往事。就在他們相偕遊頤和園的時候，卻於無意之中碰上了時在念中的陳毅同誌。他們夫婦有千言萬語想對陳毅同誌訴說，可他們隻能把正常人的情感壓在心底，用那特有的表情，用那低沉而又簡短的話語，希冀所敬重的老軍長能幫幫忙。
陳毅同誌是位感情色彩很濃的政治家，他雖然是潘漢年一案的五人小組領導成員之一，但他不能依靠自己的力量改變既定的事實。就像當年他受饒漱石的迫害，被排擠到延安一樣，他不想用嘴巴說些什麼，隻想用革命實踐證明自己對黨的事業的忠誠。今天，他不期而遇兩位很熟的部屬，並企求他能盡些力，幫點忙。筆者猜想，他當時的情感是異常複雜的。但他也僅僅說了這樣一句話：
我再催催他們！
這對潘漢年和董慧來說，已經是大期過望了J因為在階級鬥爭要天天講、月月講，年年講的時代裏，陳毅同誌答應“再催催他們”，真是感激不盡了！
除去陳毅同誌而外，潘漢年和董慧最想見到―同時也最怕見到的就是自30年代初期就十分撚熟的文藝界的朋友。也或許是“上帝”的意旨，又安排了他們夫婦和文藝界的朋友相見。從此，他們又回到昔日的戰友一一今天不怕受政治牽連的文藝界的朋友中間，給他們寂寞難耐―幾乎已經死了的心又帶來了一些愉悅。而第一個把們引到朋友中間來的老友是唐瑜。
唐瑜是一位愛國華僑，喜愛電影事業，和潘漢年私交很深。他利用職務、職業之便，不僅資助過中華民族的解放事業，而且還幫著潘漢年傳送過不少很重要的情報。多年之後，他寫的有名的回憶潘漢年的文章―《哀思和憶念》中有這樣一段文字，寫出了他和他的夫人對潘漢年的真實情感：
妻初見潘時，隻見其人神米奕奕，態度溫文，談吐爾推，平易近人；並沒有人們所描述的神奇人物的特征，但這人卻是被國民黨反動派斷定管不好上海的主要治理者之一。總之，看不出來像個官。然而，在她家鄉上海短短幾年間的業績，她的體會是尤其深切的，她感覺到黨因為有這種模式的黨員而給黨增添了約爛的光揮。這個在她心目中的英雄形象，如今一下子崩塌了，我將如何作解釋？！