晚上黃潛善來到了李綱府裏，師兄弟又在一起了，兩人為這次能攜手避免殺戮而感到十分高興。李綱對黃潛善說道：“我知道自己能這樣快的返回朝廷是和你的幫忙分不開的，我也真摯地希望你能和我一道立誌抗金，直搗黃龍，迎我二帝。希望明天我們一同請求高宗移都卞京，隻有這樣才能凝聚人心，千萬不可以再次出現京都南移的現象和觀點了，要是那樣中原大地將會落入金人手中，大宋也隻能有半壁江山，我們身為宋臣，能夠心安理得嗎？先生國強民富的理想還怎樣實現？我們對的起誰呢？我的師兄啊！”
呂慧見自己丈夫說話的聲音忒大而且激動，怕兩人談的又是不歡而散，急忙勸說李綱道：“師兄好久沒有到我們府裏來，有話你不能好好說嗎？聲音那麼大，話那麼衝，叫人如何受得了？像你們既是同門，又是親戚，還是本鄉本土的兄弟，能同朝為相本是千年不遇的事情，可你們兩人總是磕磕碰碰的，叫人擔心，本來自己專心整理曾外祖的書籍不介入你們師兄弟的政治意見當中，可是你們這樣我怎麼放心的下，你們這樣做會被人家恥笑的，我外公的話你們都忘記了嗎？難道忍心讓他在黃泉底下為你們擔心嗎？別在這樣下去了，我的兩位師兄好嗎？”
黃潛善聽了李綱和呂慧的話，心裏想，現在也隻能和他直截了當地把那難言之隱說明了，就看他是否能看在師兄弟和鄉親分上和自己同一條戰線，實在不行的話也隻能勞燕分飛、各奔前程了。但他也知道這樣做會讓呂慧傷心難受的。李綱的脾氣是難以改變的，要轉變他的思想比登天還難。現在也隻能死馬當作活馬醫了。於是，他帶著賭一把的心情對李綱說道：“我知道你的話在理，也符合忠君之道。呂慧的一番話更讓我羞愧難當。
可這是官場，是你死我活的戰場。就拿我來說吧，我也是一步一步地走向了這萬卻不複之路的。你知道六賊除後欽宗就派我去康王那裏，表麵是要我當副帥，實為欽宗的耳目，也就是他的的臥底，那些日子我總在他們兄弟中間穿梭，沒有穿梭好，自己將粉身碎骨。整天如坐針氈、小心翼翼，但還是出了問題，我知道自己把你連累了，因為我的事情，害你成了人家參奏、彈劾你的作料。致使你被他們被趕出京城，我於心難忍、於心不安。從信使被抓以後，自己和康王都弄了個欺君罪名。還好是靖康之難，要不我們還能在一起說話嗎？現在好不容易熬到了康王當上了皇帝，自己的一番付出也有了回報，而你卻要我好不容易得到的一切拱手讓與別人，你這是何道理啊！”李綱納悶了，移師卞京，奮力抗金，迎回二帝。這和讓位有關係嗎？他連忙說道：“師兄我看你喝多了吧，我們要做的和你的官位有那麼大的聯係嗎？難道皇帝不希望抗金，不想迎二帝嗎？”