毛澤東還說，提倡敢想敢幹，確實會引起唯心主義，“我這個人也好胡思亂想”。有些事不能全怪下麵，怪各部門，否則，王鶴壽會像蔣幹一樣抱怨：曹營之事，難辦得很。說到這裏，三個聽眾忍不住大笑起來，他自己也笑了。他又說，敢想敢幹，八大二次會議是高峰，還有錢學森文章（指錢在“大躍進”中論述糧食高產可能性的文章），捷報不斷傳來，當然亂想起來。今年1月開政治局會，關於鋼指標，陳講2000萬噸不易完成，同陳雲意見原來一致，不知為什麼他後來要檢討。
7月17日，胡喬木向毛澤東反映了劉少奇的意見，說還是讓陳雲主管計委比較好。廬山會議上，彭德懷在西北組會議發言中也說到：我們黨內真懂得經濟工作的人不多，陳雲是一個，賈拓夫是一個。
但是，7月14日發生的一件事，使會議的輕鬆氣氛有了一絲不易察覺的變化，這個變化是由彭德懷的一封信引起的。
彭德懷對當時出現的問題，心中是十分焦慮的。眼見廬山會議就要結束，可是還是沒有提出糾正“左”的錯誤的問題，使他感到不能不說話。7月14日下午，彭德懷把自己起草的一封信送到毛澤東那裏。在信中，他首先肯定“大躍進”和人民公社運動有失有得，然後大膽地要求認真總結1958年“大躍進”和人民公社化運動的經驗教訓。他指出，鑒於工作所麵臨的突出矛盾是由於比例失調而引起各方麵的緊張，已經影響到工農之間、城市各階層之間和農民各階層之間的關係，因此具有政治性。浮誇風比較普遍地滋長，在發展鋼鐵的認識上有嚴重的片麵性，沒有必要的平衡計劃。小資產階級狂熱性，使我們容易犯“左”的錯誤，在“大躍進”中總想一步跨進共產主義，把黨長期以來所形成的群眾路線和實事求是作風置諸腦後了。
彭德懷的信，是在親自調查研究的基礎上，進行了認真思考後寫成的，反映了實際情況和人民群眾的願望與要求，表現了一個老共產黨員對黨和人民高度負責的精神；一個政治局委員給中央主席寫信，也是完全正常的。不料引起了毛澤東的極大不滿。
毛澤東把信擬了個《彭德懷同誌的意見書》的標題，批發給大會，要求評論這封信的性質。7月23日，毛澤東在全體會議上發表了長篇激烈的講話，對彭德懷的信進行了嚴厲地批判，稱黨內外右傾情緒、右傾思想、右傾活動已經增長，大有猖狂進攻之勢，這種情況是資產階級的。
毛澤東講話中還說：我勸另一部分同誌，在這樣緊急關頭，不要動搖。南寧會議、成都會議、二次黨代大會講過，1956年、1957年的動搖，對動搖分子，我不讚成戴帽子，讚成是思想方法問題，如果講有小資產階級狂熱性，反過來講，那時的反冒進，就是資產階級的冷冷清清淒淒慘慘切切的泄氣性、悲觀性了。那些同誌是要搞社會主義，沒經驗，一點風吹草動，就以為冒了，反冒進。
講到這裏，他偏過頭對坐在旁邊的周恩來說：總理，你那次反冒進，這回站住腳了，幹勁很大。受過那次教訓，相信陳雲同誌來了也會站住腳的。那次批周、陳的人，取其地位而代之。不講冒了，可是有反冒進的味道。
毛澤東的長篇講話，重提右傾是黨內主要危險，從而使鄭州會議以來反左過程被迫中斷。
毛澤東還讓通知未上山開會的林彪去廬山開會，並提出，如果陳雲身體情況可能的話，也請上山來開會。但陳雲身體實在不好，後來也沒有去。
8月1日，在中央政治局常委會上，毛澤東重提對財經部門的批評，說財經部門從不下毛毛雨，四時八節逼著簽字，十年改不過來，橫直不讓了解情況。“設計院”不在常委、書記處，而在財經機關，那些人臉皮之厚可觀，出來的東西使人看不懂，自己也不懂。像那些教授。這種批評還要繼續下去。
在廬山會議批彭小組會上，連彭德懷讚揚陳雲懂經濟的話，也有人搬出來批。當有人提到彭德懷說過“陳雲關於經濟工作是摸得熟”，康生插話說：“他先講一套缺點，然後慨歎：現在看來還是陳雲對經濟工作摸得深。他這話不是拿陳雲比先念、一波，而是指毛澤東同誌不行。這是挑撥。”