李敖認為，五四時代，蔡元培先生的“殺君馬者，道旁兒”一語，也可用在殷海光的遭遇上。他說，在《自由中國》時代，沒有人像殷海光寫得這麼坦白，殷海光跟他不一樣，他是罵人，殷海光是罵政權。這當然激起很多人的同情和共鳴：“自己不敢說，他替我說了。不是因為他而曉得政府如何如何，而是我自己怎麼想，他替我說了。”
當時，殷海光身邊彙聚了一批學生，像張灝、林毓生、陳鼓應、陳平景等，後來都各走各的路。他對學生很好，學生離開了學校，他也一直跟他們通信，向他們請教新的知識。李敖說：“他的《中國文化的展望》一書我寫了書評批評他，他很不高興，我是覺得做朋友應該盡直言的責任。張灝是完全理解我這種心情，張灝對殷海光還是很敬重的。”
許倬雲也回憶了與殷海光的交往，覺得他太直了。他回憶他到殷家看望，殷海光就抱怨，發牢騷。殷海光說：“有什麼好書？”許倬雲便告訴他，他常用的口頭語：“棒不棒？”許回答說：“書沒有棒不棒這個事情，每本書都有它的特殊處，也有它的缺陷。”許倬雲認為殷就是一竿子打到底的態度：一本好書，或者一本壞書。介紹過來的外國思想，他一定佩服。
許倬雲透露，殷海光不喝茶，喝咖啡。他相信“科學”，可是也有矛盾的地方。他得癌症，以為可以靠打坐的功夫來治，他找南懷瑾學打坐、運氣，把蒲團都坐破了。這件事，他是不會跟學生講的。他好意說：“許倬雲，打坐對你的身體有好處。”許倬雲說：“對我的手腳沒有用處，對一般的身體可能有用處。”他還特別陪許倬雲去拜訪南懷瑾，當然南懷瑾也知道，氣功治不好殷海光的疾病。
不過，許倬雲感激他對朋友的熱心和善意。當獨裁者因權力而逐漸遠離人性純真的時候，會對別人熾熱的人性懷著深沉的妒恨。和許多獨裁者一樣，蔣經國也喜歡對被他壓迫的人施予個人恩惠。這種行為可以有各種不同的解釋。許倬雲傾向於認為，這種施恩行為其實是為了羞辱反對者，而其動機則是上述的妒恨心理。
例如殷海光過世後，他太太的離台申請一直不被核準，甚至有特務到她家勸她打消離台的意念。後來在雷震的指點下，殷太太寫信給蔣經國向他求情，才終於獲準離台。雷震以他在統治核心中多年的經驗告訴她，“你要離台，你一定要親自寫一封信給蔣經國。國民黨的做法就是這樣，希望你求他。你求他，他再放你，這樣他就很有麵子”。雷震的解釋是統治者要“麵子”。另外一種可能的解釋則是：統治者要反對者以實際的行為明白承認，誰才是真正掌握命運的人。誰是有權力的人，誰才是真正的主人。
因此，整個“胡適自由主義文人集團”隨著1962年胡適的去世，死的死、抓的抓、關的關，幾乎被國民黨摧殘殆盡。而以胡適為首的自由主義知識分子在20世紀50年代的台灣議政，雖掀起《自由中國》時代的高潮，但也隨即在國民黨的反撲下，緣起緣滅，倏忽地風流雲散矣！雖然如此，“哲人日已遠，典型在宿昔”。雷震、殷海光甚至李敖等自由主義知識分子的典範，撫今追昔，仍是值得我們加以肯定和效法的。
殷海光以自由主義學者得大名，是其來台後，在《自由中國》及《文星》等雜誌，發表一係列闡述宣揚民主自由的政論性文章之結果。殷海光是彼時島內最重要的邏輯研究先驅，他除了引進當時島外最先進的“邏輯實證論”思想外，對羅素、哈耶克等西方思想家亦相當注意。相對於彼時台灣非常封閉的學術環境言，殷海光引進了西方思想，無疑是為當時的學術界開啟了對外接觸的重要窗口。
殷海光說：“自由是許多人恐懼的烏雲，也是另外許多人欣喜的朝陽”，他不斷地闡揚自由主義思想，“我們對於反對自由主義的人，至少有義務要促起他們，知道自由主義是怎樣一回事”。
殷海光常自稱是“五四後期的人物”，是“五四的兒子”，緣於對五四所倡導的民主、自由的濃厚情結，這使得他對宣揚五四精神非常重視。《自由中國》雜誌上，有關五四的社論，大都是殷海光所寫的。由於他對五四的憧憬及傾向西化的主張，所以到《文星》時期爆發了所謂的“中西文化論戰”之際，殷自然成為眾矢之的，被徐高阮、鄭學稼、胡秋原等視為反蔣的幕後支持者。
其實，在當時政治統治高壓的情況下，很多知識分子喪失了獨立精神，不敢和統治當局對抗，有的甚至噤聲依附，充當打手。但殷海光卻能不迎合當局，是其所是、非其所非、敢怒敢言的風骨和氣節，成為知識分子的典範。坦白地說，殷海光在學術專業領域，並沒有了不起的創見，但在人格上，殷海光終身信奉自由主義，且力圖在實踐上成為一個真正的自由主義者，並以此影響當時整個台灣的學術信仰和社會風氣。