有一天，內閣大學士們在聚餐（會食），大家還未動筷，高拱突然就向徐階發難道：“老高我最近常常吃不香、睡不好，僥幸睡著，卻是噩夢連連，搞得我現在睡覺要懷抱寶劍。有一天晚上我按劍而起，回想皇上登基以來這幾個月間您的所作所為，真要氣炸了肺。先帝在時，您搜腸刮肚寫下無數文學作品（青詞），堅定無畏地邀寵獻媚；先帝一走，您就翻臉無情，擬定《遺詔》廢了齋醮。可我就不明白了，那些事不都是您手舞足蹈支持的嗎？”
徐階微笑，不說話。
高拱又狠狠地說：“現在，您又廣結言路，非要驅逐當今聖上的老師我，您就不怕遭報應嗎！”
徐階緩緩地收起笑容，沉吟許久，才慢吞吞地說道：“你這樣講話，真是不好。你說我廣結言路，可是嘴巴長在別人身上，人人一張嘴，哪能那麼好操縱？有言官攻擊你，你就說是我指使，那我請問，齊康攻擊歐陽一敬，誰指使的齊康？”
高拱被徐階這段話噎得張大了嘴巴，好像是有人往他嘴裏塞了個西紅柿。
徐階看了看他，又掃了一眼其他大學士，再看回高拱：“高公啊，遺詔的事，當初我問你如何，你也是默認好的。況且，這份遺詔是為了先帝的身後聲譽，身為臣子，為主子正名是分內之事。你談到我曾經寫青詞諂媚先帝，這確實是我有錯，那麼你呢？”
高拱心虛地大聲道：“我怎麼了？”
徐階冷笑：“你在禮部時，先帝有一天曾拿著封密函問我：‘高拱上疏，希望為齋醮事宜效勞，你覺得如何？’這封信函很貴重，所以我珍藏至今，如果大家有興趣，明天我拿出來給大家欣賞欣賞？”
高拱立即如落敗的公雞，垂頭喪氣。李春芳急忙打圓場：“菜都涼了。”
誰還有心情吃飯，最沒有心情的就是高拱。他起身，拂袖而去。
張居正追出去，許久才回。徐階坐在椅子上閉目養神。張居正輕輕地歎了口氣，他以為徐老師會問他問題，想不到，徐階什麼都沒問。
一天後，高拱上疏請辭。朱載垕勸慰一番，不予批準。
南京的言官們並未因為高拱請辭而停止攻擊，反而變本加厲。高拱心灰意冷，想死的心都有了，再上疏請辭。朱載垕不同意，高拱就撒嬌一樣地兩天一道上疏請辭。他在最後一道上疏中說：“自己已病重，如果再工作下去，非殉職不可。”
朱載垕大驚，問身邊的人：“高先生真的病重嗎？”
身邊的人剛和徐階見過麵，說：“的確很重。”
朱載垕可惜地說：“那就讓他回家養病吧，唉。”
1567年五月二十三，高拱終於得到朱載垕的辭職批準，他流下複雜的淚水，叩謝皇恩。幾天後，高拱離開京城，回了老家。
高拱離開前，張居正先去找徐階，請徐階挽留高拱。
徐階攤開雙手，委屈地說：“北京言官我擺平了，可讓高拱離開的是南京言官，我也沒有辦法啊。”
張居正已經搞不清徐老師說的真話還是假話。他去見高拱，為高拱送行，這是他第一次為高拱送行，但不是最後一次。
高拱如同正卷鋪蓋回老家的落第舉子，麵容憔悴，床邊真就放著一把寶劍，看來他說自己總做噩夢，非抱寶劍才能睡著是真的。張居正安慰他，可無論多麼貼心的話都融化不了高拱心中的仇恨，更撫慰不了高拱的傷心。
“人啊！”高拱走出北京城，回首，用力地說道，“就要狠！”
他看了看張居正，皺起眉頭：“徐階這老東西，是笑麵虎，你要小心。”
這是帶有極端感情色彩的評價，張居正不予評判。但在徐階和高拱的政治鬥爭中，他的確漸漸對徐階產生了不滿，就如當年他對嚴嵩的態度轉變一樣。這個世界上根本沒有忠誠到底的粉絲，和偶像接觸的時間越長，崇拜的程度就越小。
高拱被言官們的吐沫噴走後，言官們意猶未盡，把矛頭又對準了高拱的戰友郭樸。張居正找徐階，為郭樸說情。
如果用中國傳統道德的標準來評價郭樸，郭樸算是優等生，其為人寬厚正直，處事公正，是我們在關於傳統美德的古典書籍中常常見到的那種長者。
就憑這點，張居正就有一萬個理由向徐階求情。徐階不禁惱火，訓斥弟子道：“我早說過，言官們有嘴，我沒有權力堵人家的嘴啊。”
張居正對徐階的回答不滿意，他始終認為此時的言官還在受徐階控製，因為言官們不攻擊別的大學士卻攻擊郭樸，根本原因是郭樸和高拱親近，而對徐階態度冷淡。
言官們攻擊郭樸比攻擊高拱有難度。高拱性格外露，桀驁不馴，缺點一抓一堆；郭樸沒有缺點，所以言官們開始的攻擊很不順。他們說郭樸沒有做輔臣的素質，朱載垕駁回；他們又說郭樸不配合首輔徐階的工作，影響內閣團結，朱載垕又駁回。