“同樣是容忍，無權無勢的人易，有權有勢的人難。……有權有勢的人頤指氣使慣了。他言欲為無窮則，行欲為後世法，到了現代更變為‘主義’等類‘絕對真理’的化身。要這類人士學習容忍，真比纜繩穿過針孔更難。適之先生是曆史大家，他一定知道，就咱們中國而論，自古至今，容忍的總是老百姓，被容忍的總是統治者。所以我們依據經驗事實，認為適之先生要提倡容忍的話，還得多向這類人士說法。我們認為胡先生不應以這個社會對你底‘無神的思想’容忍為滿足，而應以使千千萬萬人不因任何‘思想問題’而遭監禁甚至殺害為己任！”
殷海光目光如炬，一下看出胡適文章的症結所在，胡適後來不得不對此做出回應，亦對自己的文章做了一點修正。
發現胡適此文漏洞的不止殷海光一人，著名史學家周策縱先生也認為，胡適強調容忍是有道理，說容忍是自由的保證也是對的，但不能隻要求“我們”容忍，對“他們”，甚至對每個人都要提這樣的要求。周先生在文中這樣寫道：
“我們承認容忍是自由的一個基礎，社會如果沒有容忍就絕不會有真正的自由。因為現代社會上人與人的關係過於密切，蜂窠的每個巢穴互相密集著，有一個巢孔過度擴張時，別的孔就要被壓縮變形了。同樣的，一個人的自由也必然會受到別人的自由的限製，即如穆勒所說的，自由必以別人的自由為界限。所以我的自由常常建立在別人的容忍上，別人的自由也常常建立在我的容忍上。我多一分容忍，別人便可能多一分自由。是就這一意義說，容忍雖然有點像自由的必要條件，它是否為自由的充分條件，卻還得看情況如何而定。換句話說，社會上沒有容忍固然談不到自由，但有了容忍是否就有自由，卻要看這容忍的態度普遍到什麼程度而定。中國的婦女在舊禮教的束縛下不是容忍了幾千年麼，她們何嚐得到婚姻上和經濟上的自由？有許多專製政治和獨裁政治下，大多數的人民往往容忍到了極點，但自由也不曾自動地降臨，固然有許多被迫的服從不能算作容忍。原來一個社會裏要是隻有一部分人能容忍而另一部分卻可以不顧的時候，容忍還可能成為奴隸的道德。我們若希望容忍發生好的效果，能作為自由的保障，必須社會上的人全體或大多數都多多少少能采取這種態度。”
胡適把容忍的重要性無限放大，對抗議的重要性卻隻字不提。如果把容忍比喻成“女人”，把抗議比喻成“男子”，那麼，隻有雙方纏綿在一起，才有可能創造出新的生命——自由。就創造生命而言，男人與女人的作用應該是平分秋色，且缺一不可。而胡適在文章中盛讚“女人”，似乎有了“女人”，就一定會有孩子，這當然不妥！所以，周策縱先生認為要對“容忍”和“抗議”一視同仁，因為容忍與抗議同樣重要，光有容忍或光有抗議均不能帶來自由：
“抗議和容忍在表麵上似乎相反，在實質上卻相輔相成，而不是互相反對的。容忍的成立，和抗議一樣，也必須建立在不同意的前提下。”
“容忍之所以成為必要，因為‘理未易明’。抗議之所以要人不可不表示異議，就某些人看來也許是基於自認‘吾輩所主張者為絕對之是’，我們卻不讚成從這點出發，它無寧還是基於‘理未易明’的觀點，因為我們同樣地覺得對方所主張的也未必就是‘絕對之是’，我們與其相信別人，還不如相信自由獨立的思考和判斷。我的見解如有不同，就最好說出來，這樣一來，‘不怕不識貨，就怕貨比貨’，才能希望更接近真理。穆勒在《自由論》第二章的末了，總結他替思想言論自由辯護的理由為四點，就是：一、對方的意見可能是真理；二、即使對方錯了，也還可能有部分的真理，容或可補充我所認為真理的不足；三、沒有對抗的言論則流行的思想將成為成見，引不起理知的體認；四、思想成為教條後就會變成空洞的形式，對人沒有益處。這四件理由都可用來說明容忍的需要，同時，尤其是後麵兩點，也可支持抗議的必需。”
胡適過分強調容忍作用，在他看來，對容忍的作用怎麼誇大都不為過，但周策縱先生則清醒地指出，容忍也應該有一個限度，如果不管對何事都容忍，且毫無限度，那，你的容忍也許並非美德而有可能演變成一樁罪行：
“容忍的精神有時須用抗議的精神來補救，因為容忍應該有它適當的限度，超過這限度，容忍也可以鼓勵別人來侵犯自由，照美國獨立宣言的理想，自由本應是一種‘不可出讓的權利’。容忍退讓如到了放棄自由的程度，毋寧成了一種罪行。因為這不僅是當事者本身受了損害，別人的自由也將因此而削弱，結果所及，社會上大多數人的福利也可能受到影響。”
最後，周先生得出了自己的結論：
“在１７６１年的法國，有一個人的兒子因生意失利而吊頸自殺了。照當時的法律，凡是自殺的人，必須把他的屍體裸露著放在刑車上，公開在街上遊行，然後掛到絞刑架上去。這父親不忍他兒子死後遭受這樣的待遇，便請了好些親戚朋友來作證，證明是壽終正寢的，於是謠言傳布開來，竟說這父親因為恐怕兒子要信舊教，所以把他謀殺的。結果被判處了死刑。兩年後，伏爾泰為了這事便寫成他有名的《容忍論》，用鼓吹容忍來表示對用教條殺人的抗議。他滿以為東方的非耶教徒更能容忍些，卻料想不到兩百年來人類並沒有進化多少，因此我們仍需要用容忍論來作抗議。然而我們並不希望走上巴士底的道路，我們應采取更平易的態度。
“這就是：我們必須容忍抗議，必須抗議我們認為不該容忍的事，抗議的人更要容忍別人的抗議。這都是極平凡的道理。”
平心而論，周先生的結論比胡適一味強調容忍的觀點更合理更有說服力。
毛子水、殷海光、周策縱從不同側麵不同角度分析了胡適的《容忍與自由》，後兩位還對胡適的文章做了必要的修正和補充。由於胡適寫此文的動機是單一的，就是為了勸戒《自由中國》同仁在“陳懷琪事件”中保持克製、冷靜、秩序、忍讓，所以他寫作時的視角也變得單一，結論自然片麵。
急切的寫作動機——勸說《自由中國》編輯們——使胡適不自覺地把筆力鎖定在“容忍”上，對“抗議”則刻意回避。用“一隻眼”看世界，就可能重蹈盲人摸象的悲劇了。不過，在當時，這篇文章還是起到了一定的作用，《自由中國》的編輯們或多或少聽從了胡適的勸說，在“陳懷琪”事件裏采取了忍讓的態度。不久，胡適那封要求《自由中國》編輯自我檢討的信終於刊登出來了。胡適寫《容忍與自由》的目的部分達到了。
１９５９年１１月２０日，是《自由中國》創刊十周年，雜誌社舉行了一個盛大的慶祝活動。在這次慶祝會上，胡適又發表了《容忍與自由》的演講。《容忍與自由》發表後，殷海光等人提出了一些不同的看法，另外，胡適也意識到《自由中國》的一些編輯對他的那篇文章恐怕也是口服心不服，為了回應殷海光，進一步說服開導《自由中國》的編輯們，同時也對自己的文章做一些修補，胡適便以演講的方式重述《容忍與自由》。
殷海光曾撰文說，胡適提倡容忍，應多向有權有勢者去說，胡適對此做了回應：
“不過殷先生在那篇文章中又講了一段話。他說：同是容忍，無權無勢的人容忍容易，有權有勢的人容忍很難。所以他好像說，胡適之先生應該多向有權有勢的人說說容忍的意思，不要來向我們這班拿筆杆的窮書生來說容忍。我們已是容忍慣了。殷先生這番話，我也仔細想過。我今天想提出一個問題來，就是：究竟誰是有權有勢的人？還是有兵力、有政權的人才可以算有權有勢呢？或者我們這班窮書生、拿筆杆的人也有一點權，也有一點勢呢？這個問題也值得我們想一想。我想有許多有權有勢的人，所以要反對言論自由，反對思想自由，反對出版自由，他們心裏恐怕覺得他們有一點危險。他們心裏也許覺得那一班窮書生拿了筆杆在白紙上寫黑字而印出來的話，可以得到社會上一部分人的好感，得到一部分人的同情，得到一部分人的支持。這個就是力量。……誠如殷海光先生說的，用權用慣了。不過他們背後這個觀念倒是準確的；這一班窮書生在白紙上寫黑字而印出來的，是一種力量。而且是一種可怕的力量，是一種危險的力量。……我認為我們這種拿筆杆發表思想的人，不要太看輕自己。我們要承認，我們也是有權有勢的人。……不過我們的勢力，不是那種幼稚的勢力，也不是暴力。我們的力量，是憑人類的良知而存在的。所以我要奉告今天在座的一百多位朋友，不要把我們自己看得太弱小；我們也是強者。但我們雖然也是強者，我們必須有容忍的態度。”
很明顯，胡適在這裏巧妙地偷換了概念。殷海光所說的權勢，是指統治者掌控著對老百姓的生殺予奪大權，而胡適說知識分子也有力量，但這是一種文字、道義、良知的力量。這種力量和統治者的權勢當然不是一回事，而胡適為了反駁殷海光，強行將其扭在一起。所以，胡適的話雖言之成理，但殷海光的話也一樣能自圓其說，也就是說，胡適的話不能構成對殷海光的反駁。兩人是各說各話，是“兩股道上跑的車”，根本不搭界。殷海光說的是“大炮”的力量，胡適說的是“文字”的力量，兩人的立足點完全不同，所以兩人的對話就變成了——雞同鴨講，公說公的理，婆說婆的理，你打你的鼓，我敲我的鑼。
在我看來，殷海光說的更有道理。正因為“自古至今，容忍的總是老百姓，被容忍的總是統治者”，所以，胡適更應該向有權有勢的人宣傳容忍的重要性。當教會要燒死布魯諾時，我們是應該去勸教會容忍布魯諾的思想自由，還是勸布魯諾去容忍教會對他的迫害？按胡適的說法，布魯諾也是“有權有勢”者，因為他有“在白紙上寫黑字而印出來”的書，是“拿筆杆發表思想的人”，所以“也是強者”，也“必須有容忍的態度”，那麼，在布魯諾走上火刑架時，我們難道還要向他宣傳一番“容忍比自由更重要”、“沒有容忍就沒有自由”的大道理？
當胡適得出自己的結論——“有權有勢的人當中，也包括我們這一班拿筆杆的窮書生；我們也是強者”後，他不管此結論的推導過程有偷梁換柱之嫌，也不管聽眾是否認同他的這一結論，就一廂情願也是別無選擇地開始以此為基礎來展開他的論述了：
“但我們雖然也是強者，我們必須有容忍的態度”；“因為我們也是強者，我們也是有權有勢的人，我們絕對不可以濫用我們的權力。”
胡適一整段文字論述了“不可以濫用我們的權力”的道理：
“我們的權力要善用之，要用得恰當；這就是毛先生主張的，我們說話要說得巧。毛先生在《〈自由中國〉十周年感言》中最後一段說：要使說話有力量，當使說話順耳，當使說出的話讓人家聽得進去。不但要使第三者覺得我們的話正直公平，並且要使受批評的人聽到亦覺得心服。毛先生引用了《禮記》上的兩句話，就是：‘情欲信；辭欲巧。’內心固然要忠實，但說話亦要巧。從前有人因為孔子看不起‘巧言令色’，所以要把這個‘巧’字改成了‘考’（誠實的意思）字。毛先生認為可以不必改；這個巧字的意思很好。我覺得毛先生的解釋很對。所謂‘辭欲巧’，就是說的話令人聽得進去。怎麼樣叫做巧呢？我想在許多在座的學者麵前背一段書做例子。”
胡適所舉的例子出自《論語》：定公問：“一言可以興邦，有諸？”孔子對曰：“言不可以若是；其‘幾’也！人之言曰：‘為君難，為臣不易。’如知為君之難也，不‘幾’乎一言而興邦乎？”曰：“一言而喪邦，有諸？”孔子對曰：“言不可以若是；其‘幾’也！人之言曰：‘予無樂乎為君；唯其言而莫予違也。’如其善而莫之違也，不亦善乎！如不善而莫之違也，不‘幾’乎一言而喪邦乎？”胡適對《論語》中的這段話作了如下評價：
“《論語》中這一段對話，不但文字美妙，而且說話的人態度非常堅定，而說話又非常客氣，非常婉轉，夠得上毛子水先生所引用的‘情欲信，辭欲巧’中的‘巧’字。所以我選了這一段作為《論語》中第一等的文字。”