毛澤東對他說的話，也很簡單：“你回到北京，少說話，多看看，多了解情況。”
就這樣，簡短地見了一麵，毛澤東就去忙別的事情去了。
胡喬木萬萬沒有想到，這竟然是他跟毛澤東的最後一次談話！
此後，當毛澤東回到北京，雖然胡喬木曾希望求見毛澤東，卻被江青擋駕了。
作為毛澤東多年的政治秘書，胡喬木畢竟對毛澤東充滿感情。雖說他這一生不知跟毛澤東見過多少次，但這最後一次談話實在太令人遺憾了。此後，他多次跟家裏人說起：“我最後那次見主席，怎麼會把要講的話都忘了講呢！”
這遺憾，永遠不可彌補。
自從這一次與毛澤東訣別之後，他的毛澤東的政治秘書一職也就畫上了句號——雖說自從他1961年8月向毛澤東請長期病假以來，政治秘書一職已名存實亡。通常，總是說他擔任毛澤東秘書25年，即從1941年2月至1966年6月。實際上是20年，即從1941年2月至1961年8月。
懷著深深的失落感遷出中南海
1966年6月初，當胡喬木剛剛回到中南海頤園家中，忽地接到通知，康生約他一談。康生有什麼事找他呢？
不久前，5月28日，中共中央曾發出《關於中央文化革命小組名單的通知》，任命陳伯達為組長，康生為顧問，江青、王任重、劉誌堅、張春橋為副組長。
康生，正是權重一時之際。他跟胡喬木寒暄了一陣，無非是“最近身體好一些了嗎？”之類。接著，他便進入正題，要胡喬木遷出中南海！
從1949年起，胡喬木便住在中國的政治中樞中南海，一住17年。如今，為什麼要遷出中南海？
康生所說的“理由”，自然是冠冕堂皇的：中南海要修路，頤和園裏你那房子要拆……當然，即使是那裏真的要修路，完全可以安排胡喬木住在中南海別的地方。然而，康生要胡喬木在中南海外找住處。顯然，這是要把他逐出中南海！
胡喬木從康生那裏回來，心境是沉重的。因為就在一個月前，就在中南海裏，發生了令人心驚肉跳的事，雖說他當時在杭州，後來才聽說：
那是田家英，5月22日接到通知，要他立即搬出中南海。5月23日上午，田家英悲壯地結束了自己的一生，上吊於中南海永福堂！
田家英被安上了“篡改毛主席著作”的罪名。那是在他整理毛澤東的一份談話記錄時，刪去了幾句關於《海瑞罷官》的話：“《海瑞罷官》的要害是‘罷官’。嘉靖皇帝罷了海瑞的官，1959年我們罷了彭德懷的官，彭德懷也是‘海瑞’。”這下子，深深激怒了江青。
就這樣，在“文革”大幕剛剛拉開之際，毛澤東的三位秘書的命運便涇渭分明了：
正直剛烈的田家英死了：
書生意氣的胡喬木靠邊了；
善於投機的陳伯達高升了。
據雲，當時為了毛澤東的安全，著手“清理中南海”。要胡喬木遷出中南海是江青的主意，但是她不便跟胡喬木談，由康生出麵。
於是，胡喬木由中共中央機關事務管理局的幹部陪同，在中南海之外找房子。胡喬木看了十餘處房子，選中了天安門廣場附近一幢房子——那裏原是某國駐華大使館。他喜歡那房子有很大的書庫，可以安頓他數萬冊藏書。
就這樣，懷著深深的失落感，胡喬木離開了中南海……本來就沉默寡言的他，這時話更少了。
神情木然地站在天安門城樓上
胡喬木牢牢記住毛澤東在杭州的“一少二多”的叮囑：“少說話，多看看，多了解情況。”1966年6月6日，胡喬木派出身邊的工作人員前往北京大學，看大字報，了解情況。當然，光是聽聽工作人員的彙報，也不行。他也必須親自出去“多看看”。
上哪兒去呢？去兒子那學校吧——北京郵電學院。雖說他是按照毛澤東的指示去“多看看，多了解情況”，不料卻從此埋下禍根——後來，他被這個學院的紅衛兵“盯”上了。
1966年7月20日，中共中央發出《關於成立毛澤東著作編輯委員會的通知》，上麵印著胡喬木的名字，使胡喬木稍稍鬆了一口氣——
主任：劉少奇
副主任：康生、陳伯達、陶鑄
委員：李井泉、李雪峰、劉瀾濤、宋任窮、王任重、魏文伯、胡喬木、蕭華、
劉誌堅、張平化、熊複、王力、戚本禹、劉漢
雖說按照他的資曆，理應是副主任。不過，他能列名委員之中，表明他的政治境遇尚可。緊接著，中共八屆十一中全會於1966年8月1日至12日在北京召開。毛澤東主持了會議，寫下《炮打司令部——我的一張大字報》。會議定於8月12日通過了《關於撤銷和補選書記處書記的決定》，沒有碰胡喬木：撤銷了彭真、陸定一、羅瑞卿的中央書記處書記和楊尚昆的候補書記職務，調陶鑄擔任中央書記處常務書記，調葉劍英擔任書記處書記。而胡喬木呢？仍是候補書記——既沒有升為書記處書記，也未撤職，保持原職。
會議結束不久，8月18日，毛澤東在天安門城樓第一次檢閱紅衛兵。
那天，胡喬木也上了天安門城樓，他的名字也出現在新華社的電訊之中。不過，他站在遠離毛澤東的地方，未敢走過去跟毛澤東說上幾句。他跟別人也幾乎不說話，隻是按規定的位置木然站著，如此而已。
胡喬木神情沮喪，是因為就在四天以前——8月14日，“中央文革小組”找他談話，進行了批評，指出他犯了一係列的錯誤：從《清宮秘史》、中共八屆七中全會、廬山會議直至《海瑞罷官》……8月15日，胡喬木不得不就以上問題寫了一份簡短的檢查，表了個態。這天晚上，他對身邊的工作人員正式宣布：“我犯了錯誤！”
8月17日，胡喬木提出：收縮工作，精簡人員，搬家，縮小居住麵積，並要求到京郊四季青人民公社參加勞動。
8月18日，就在他上天安門城樓之際，他的父親胡啟東在北京八寶山的墓碑被砸。父親胡啟東晚年住在胡喬木家，於1957年2月病逝，葬於八寶山。他的墓碑，是由於右任的弟子、書法家胡公實寫的。母親夏氏也住在胡喬木家，後來死於肺結核。在“文化大革命”中，時興講成份，所謂“老子英雄兒好漢，老子反動兒混蛋”，胡喬木的父親胡啟東雖說是開明紳士、進步人士，在“文革”中被罵為“大地主”。自然，他的墓碑被砸了。胡喬木呢，也被斥為“大地主的孝子賢孫”。
胡喬木從天安門上下來，便忙著寫檢查。8月28日，胡喬木雖然已經處境維艱，還是收到了入場券，登上天安門城樓。他的表情，更為木然。
9月5日，中共中央辦公廳秘書局對胡喬木停發文件。這是極為嚴重的訊號，意味著他從此正式“靠邊”了！
胡喬木也意識到事態的嚴重，提出降低工資，或把工資作為黨費上交。取消哨兵、廚師、專車。又一次提出搬家。