1960年春，張大病初愈，便寫信給毛希望給一點工作，不理。他找鄧小平，鄧說可研究一點國際問題。又找劉少奇，劉說還是搞經濟吧，最好不要去碰中蘇關係。他就明白了，自己還不脫“裏通外國”的嫌疑。他去找管經濟的李富春，李大喜，說正缺你這樣的人，三天後卻又表示不敢使用。後來中組部讓他到經濟研究所去當一個特約研究員，他立即回家把書房裏的英文、俄文版的外交問題書籍一推而去，全部換成經濟學書刊，並開始重讀《資本論》。張聞天是中共八大以後的領導集體中唯一通讀過《資本論》的，而且讀有三四遍，研究經濟正是他的所愛。1962年七千人大會前後，全國形勢好不容易出現一個亮點，中央開始檢討1958年以來的失誤，毛、劉在會上都有自我批評。張很高興，在南方調查後向中央報送了《關於集市貿易等問題的一些意見》。沒想到這又被指為翻案風，立即被取消參加中央會議和閱讀一切文件的權利，送交專案組審查。毛說別人能平反，他和彭不能平。他不知道，對中央工作的缺點別人說得，而他卻是不能置一詞的。到“文革”時期，他這個曾經的總書記（前五朝的總書記當時僅存他一人了，陳、瞿、向、博都已不在世）又受到當年農民遊街鬥地主式的淩辱。他經常是早晨穿戴整齊，懷揣月票，擠上公共汽車，準時到指定地點去接受批鬥。下午，他的妻子劉英，一起從長征走過來的老戰友，門依黃昏，提心吊膽，盼他能平安回來。他有冠心病，在挨鬥時已不知幾次犯病，僅靠一片硝酸甘油挺過來。隻1968年七、八、九三個月就被批鬥十六七場。他還被強迫作偽證，以迫害忠良。遇有這種情況他都嚴詞拒絕，犧牲自己保護幹部。他以一個有罪之身為陳雲、陸定一等辯誣。特別是康生和“四人幫”想借“61人叛徒案”打倒劉少奇，他就挺身而出，以時任總書記的身份一再為劉證明和辯護（盡管劉在廬山會議和七千人大會上是幫毛整他的）。士窮而節見，他已經窮到身被欺，名被辱，而命難保的程度，卻不變其節，不改其誌。他將列寧的一句話寫在台曆上，作為自己的座右銘：“為了能夠分析和考察各個不同的情況，應該在肩膀上長著自己的腦袋。”
1969年10月18日，他被勒令從即日起不得再用“張聞天”三個字，而被化名“張普”流放到廣東肇慶。肇慶五年是他生命的末期，也是他思想的光輝頂點。“文革”中關押“走資派”或“反動權威”的地方叫“牛棚”，季羨林就專有一本書名《牛棚雜憶》。而現在軟禁張聞天的這個小山坡就叫“牛岡”，比牛棚大一點，但仍不得自由。他像一個摔跤手，被人摔倒了又扔到台下，但他並不急著爬起來，他暫時也無力起身，就索性讓自己安靜一會兒，躺在那裏看著天上的流雲，聽著耳邊的風聲，回憶著剛才雙方的一招一式，探究著更深一層的道理。一個有曆史責任感的政治家總是把自己作為一種元素放在社會這個大燒瓶裏進行著痛苦的實驗。他把魯迅的兩段話抄在卡片上，置於案頭：
隻要能培育一朵花，就不妨做做會朽的腐草。
革命者為達目的，可用任何手段的話，我是以為不錯的。所以即使因為我罪孽深重，革命文學的第一步，必須拿我來開刀，我也敢於咬著牙關忍受。殺不掉，我就退進野草裏，自已舔盡了傷口上的血痕，絕不煩別人敷藥。
他每日聽著高音喇叭裏的最高指示，感受著“文革”的喧囂，回憶著自己忽上忽下、國內國外的經曆，思考著黨、國家、民族的前途。他本來就是一個思想家，在已往的每一個崗位上都有新思想的萌芽破土而出，寫成調查報告或文章送毛，送中央。涓流歸海，竭誠為黨。他希望這個新芽能長成大樹，至於這樹姓張還是姓黨，或者姓毛，他都不在乎。思考和寫作已經成了他生活的慣性，成了他自覺為黨工作的一部分。但現在“休去倚危欄，斜陽正在，煙柳斷腸處！”他明白不會再有人聽他的什麼建議，也沒有地方發表他的文章，寫作隻是為了探求真理。他隻求無愧生命，無愧青史。正像一首詩所說的：
能工作時就工作，
不能工作時就寫作。
二者皆不能，
讀書、積累、思索。
每當夜深人靜，繁星在空，他披衣攬卷，細味此生。他會想起在蘇聯紅色教授學院時的學習，想起在長征路上與毛澤東一同反思五次反圍剿的失利，想起廬山上的那一場爭吵。毛澤東比他大七歲，他們都垂垂老矣，但是直到現在還沒有吵出個結果，而國家卻日複一日地政治混亂，經濟崩潰，江河日下。是黨的路線出了毛病，還是廬山上他說的那些問題，今猶更甚。歸納起來就是三點：一是濫用階級鬥爭，國無寧日，人無寧日，無休無止；二是不尊重經濟規律，狂想蠻幹；三是個人崇拜，缺乏民主。他將這些想法，點點所得，寫成文章。但這些文字早不是他當年20歲時寫小說、寫詩歌了，已是紅葉經秋，寒菊著霜，字字血，聲聲淚了。牛岡本為一部隊農場之地，雖“文革”之亂，仍不廢雞犬牛羊。所以他常於夜半凝神之時，遙聞冷巷狗吠之聲；而奮筆疾書，卻又雄雞三唱，東方漸白。有哪一位畫家要是能作一幅《牛岡夜思圖》，或是前麵所說的《望江亭遠眺》，那真是攝魂、留魄、傳神、言誌，為曆史寫真，為英雄存照了。