據曹汝霖家的仆人後來回憶說，五四那天，在學生剛來的時候，其實北京的警察總監吳炳湘也在曹家，看見學生氣勢洶洶，吳炳湘說要加派警察。曹汝霖卻說：“幾個小孩子，就讓他們鬧一鬧吧，沒有什麼了不起的。”461如果屬實，說明曹汝霖對待學生還比較客氣。但是，家被燒了之後，態度有點變化。多年積累的家產被毀，倒也難怪。五四運動曹汝霖家被毀、章宗祥挨打之後，他們三人都有一個表態。462曹汝霖是提交了一份辭呈，通篇充滿抱怨之辭，從家產被毀到自家的外交業績，尤其念念不忘主持借款，未收一分錢回扣之事，被後人譏為“‘表功’多於‘自責’，尤注重於經手借款，未收回扣，以矜誇其廉潔無私，殊不知國人所指斥者並不在此也”。463陸宗輿好一點，除了抱怨有人“借外交問題，以為傾軋之具”之外，倒是沒有表功，以身體不好為由，自請辭職。464其實他跟曹汝霖一樣，把五四學生遊行，看做是某些派係對他們的傾軋。曹汝霖在日後的回憶中，幾乎點名說他們之所以挨整，就是因為林長民的挑唆。而林長民之所以如此，不過是因為懷疑曹汝霖壞了他做總統秘書長的好事，以及一次跟他借錢，沒有痛快地給。465隻有章宗祥態度最好，火燒趙家樓，他挨了一頓飽打，若不是碰巧前來的中江醜吉拚死擋了一下，後果不堪設想。挨打之後，章宗祥住進了醫院，據說很長時間都沒有脫離危險，聞聽肇事的學生被捕，不僅沒有提出控告，反而由其妻子代表章宗祥具呈保釋學生。雖然“自知眾怒難犯，亦可見其風度”。466可見，在“三個賣國賊”中，也有分別，對於段政府的親日政策，責任最大的曹汝霖，對於五四運動，怨氣也最大，直到寫回憶錄的時候，已經是90歲的皓然一老，依然恨恨不已，而陸宗輿和章宗祥則要低調得多，平和得多。
事後來看，三位不過是資深職業官僚而已，跟親英美的顧維鈞、羅文幹、施肇基等人沒有多大的區別。隻要當政者需要加強跟日本的關係，自然會重用他們，沒有別的選擇。而他們的政務操作，親英美的官僚一樣，也日趨技術化。在晚清和民國，前有朝中清議，後有媒體開放，作為一個大而弱的國家辦理對外交涉的人，委實處境很難。一方麵國家受欺淩的處境很難改變，所謂交涉，無非是吃虧大些還是吃虧小些的分別。但是，無論大虧小虧，清議和輿論都不會答應，於是，交涉者就成了眾矢之的。而曹、章、陸所親的日本，恰好在近代扮演了一個令中國人既嫌惡、又豔羨、又很恐懼的角色，中國從日本學的最多[正好跟古代掉過來]，受到傷害也最多。可以說，對日本人，中國人既熟悉，又陌生，既看不起，又有些畏懼。這種局麵，自甲午以來，就已經形成了。庚子義和團事件，八國聯軍占領北京，占領軍中的日本軍隊，相對來說對中國人比較客氣，因而導致中國人對日本人的惡感稍減，但進入民國之後，尤其是二十一條簽訂之後，日本再次成為中國人最討厭也最畏懼的對象。在這樣的大背景下，二十一條不廢除，日本大舉介入中國政局，國人焉得不憂？作為背上打上印記的親日職業官僚，在此時此境，即使離中日交涉遠遠的，都未必有好果子吃，更何況他們三人不避瓜田李下之嫌，首當其衝，背上賣國賊的惡諡，實在是逃無可逃。不過，作為職業技術官僚，他們三人大體上還是守本分的。同為官僚中人的張一麐後來說，自曹汝霖因五四運動辭職之後，繼任者曾毓雋更加不堪，放手挪用部款，供給小徐，一點規矩都不講，比曹汝霖還不如。467
最後需要一提的是，盡管這三人官癮不小[作為職業官僚，無可厚非]，但自打五四以後，就從政壇銷聲匿跡，再也沒被重新起用過。抗戰時期，這三人雖然都留在淪陷區，但都沒有出來擔任偽職。其中曹汝霖曾經是日本占領軍重點的爭取對象，出山的壓力相當大，日本方麵的土肥原賢二，和北平特務機關長喜多駿一，都親自前來勸駕。唯有他的日本好友中江醜吉，勸說曹汝霖千萬不要出來，保持晚節，曹汝霖也就沒有出山。468一位跟中江醜吉很熟的日本學者寫道：
日華事變發生後當時立即就把其中意味參透了的中江，到天津拜訪了曹汝霖。並將事變的性質與前景說與曹，還有如下記錄：你作為政治家為了保全晚節，在這個時候無論怎樣的勸誘也絕對不要在政治方麵的事情上出頭，如果是實業界的事，那也就沒有辦法。曹氏當時淚流滿麵聽從了中江的勸告。日本的軍閥及其手下的浪人正焦急想找一個北方派的大人物做傀儡。事實上，曹氏聽從了中江的勸告，很久一段時間沒有出來。現在他沒有被作為漢奸，如果是這樣算的話，中江應該算是救了曹氏兩次。469
曹汝霖不僅沒有下海做漢奸，而且在淪陷區的時候，還在力所能及的範圍，做了一些好事，幫人擋了好些事。有人被捕，找到他，也能撈出來。470的確，因為曹、章、陸沒有下海做漢奸，光複以後，他們三人都沒有受到國民政府的追究。可見，曹汝霖所說自己親日而不賣國，不是沒有一點根據的。至少，比起那些當時的名聲比他們還要好一些的北洋政客，王揖唐和王克敏之輩，要強多了。