黃潛善和汪伯彥心裏難受極了，要找高宗傾訴自己內心的不平。高宗見兩人情緒低落知道受了委屈，急忙叫總管太監準備好酒菜，三人坐定後，高宗認認真真地聽他們兩人的牢騷。黃潛善急著為張邦昌辯解道：“張邦昌對陛下可謂是忠心不二，金國退兵之後，張邦昌脫下帝袍，去除帝號，他不在正殿辦公，不自稱朕，可謂行規步距，小心謹慎之至，最後迎元祐皇後孟氏入居延福宮，封郡王。他沒有絲毫的野心，他知道陛下是唯一合法繼承人，“大楚”的一切大事都是由皇後、太後主持，自己隻是以太宰的身份退到內東門資善堂居住，從來沒有行使皇權，以皇帝自居。
陛下移師南京，他即刻趕赴，向陛下您痛哭請罪。他勉強去接受金人的封賜，隻是一時權宜之計，目的就是避免更多的人以殉國難，根本就沒有當皇帝的想法？更何況張邦昌曾與陛下一起入過金營，有患難之情；又主動放棄“大楚”皇位，有認罪表現，難道陛下就忍心這樣對待他嗎？李綱他們對張邦昌再次擔任新職極為不滿，要徹底清算他賣國求榮、助紂為虐的罪惡行徑，朝中檢舉張邦昌罪行的奏章絡繹不絕，甚至有人告發張他在皇宮玷汙宮人。可我們心中有數啊！我們不能人雲亦雲啊！以我來說張邦昌不但不是賣國求榮、助紂為虐，而是大宋的最大功臣。所以我們可以毫不猶豫的說，自始至終，張邦昌都沒有任何叛變國家的行為。因此，將其列為叛臣，貶至潭州。則不但有失公允，更是千古奇冤。而且變得陛下您和我都是說話不算數的小人啊！”黃潛善一口氣把想說的話全都說了出來，希望能夠感化他。
汪伯彥也滿腹委屈地說道：“兵馬指揮權按職務，本身就是由我擔任，可陛下您為了平息將士的怒氣，非要拿到朝堂上來討論，而且不商議地就公布了李綱任之，叫人寒心啊。現在李綱是最大的贏家了，他想做的或者要做的，陛下都給了他最大的滿足，他便可以毫無顧忌地做他想做的任何事情了，到時候倒黴的一定就是我們兩兄弟哦”。黃潛善聽到李綱三字，恨得牙齒都咬的鐵釘斷，要是沒有他的那番話，張邦昌就不會貶到潭洲，小枚也不會即將是高宗的妃子，真叫人撕心裂肺、痛不欲生。他下了決心按汪伯彥的想法去做，定要將李綱趕出朝廷。於是，他湊近汪伯彥耳語了一陣。
高宗將兩人的酒杯倒滿後難過地說道：“今天二位愛卿不來我這裏，我也會叫人傳你們過來的，你們所受的委屈我能不知道嗎？可你們今天也看見那般情景，我能如何處理，還能怎樣做，兩位可知道我們江山來之不易啊！沒有靖康之難就沒有我的皇位，當然也沒有二位的這般官職，我們是在發國難財的呀！你們以為我的心裏就好受嗎？想到自己的皇位是這樣得到的我心似刀絞，他們可是我的父親和兄長啊！還有我多少的親人被金人****，你們知道嗎？”高宗舉起酒杯一飲而盡，不禁淚流滿麵，掩麵哭泣。
他接下又說道：“你們兩人是我的左膀右臂，我趙構是個明白人，沒有你們就沒有我的現在，可我們總不能把現在得到的一切就丟棄吧，張邦昌不處理，能平息民憤嗎？指揮權不給李綱，勤王組織和地方民兵組織會來投靠並且為我們賣力嗎？不是你們說的要利用李綱威信去發展自己的武裝，強大自己的兵力嗎？沒有足夠的兵馬和武裝力量怎樣抵擋金人的進攻？又怎樣保住江山？如何對得起靖康之難深受其害的二帝呀？你們以為我能忍受李綱的狂妄和不敬嗎？現在不是時候，隻有忍耐等待時機，當一切都順理成章的時候再加以修理也不遲呀。”兩人聽後哪裏還說的出話來，隻能點頭稱是。這時候汪伯彥告訴高宗張邦昌有意將義女小枚送至宮中，這意外的消息確實讓高宗心花怒放，但是……他遲疑了一下然後說：“太遲了，堂上已經當眾宣布了把他貶謫潭洲了，哪裏可以朝過夕改的，等局勢穩定些在來討論此事。如果我納了小枚那張邦昌便是國舅了，皇親國戚按祖宗律法就可以免受死罪的。你叫邦昌放心，隻要一有機會就讓他回京。”他又問道：“那黃潛善他怎麼想的，我可不想奪人所愛，這非君子所為。”
汪伯彥笑道：“就是他的主意哦，他知道陛下喜歡小枚，故而不敢娶之。”
高宗很感動：“潛善乃大忠臣也。”黃潛善無奈地擠出一點笑容道：“這是為臣應該做的。”
高宗左右為難，抗金、迎二帝，又怕好不容易得來的皇位被兄長拿去。不這樣做，又得承受賣國和不孝的罵名。尤其是張邦昌，自己真是過意不去，他沒有真正做過一天的皇帝卻要遭受如此貶謫，想起自己和張邦昌一同為使者（人質）前往金營和議時，那張邦昌對宋朝真可謂赤膽忠心，他處處為大宋著想，為大宋爭權。當金人用刀威脅自己時他挺身護衛。金人要他做“大楚皇帝”時，他窘怕心急，一度想自殺，被旁人勸住：您死了，全城百姓可要遭金人屠戮啊！張邦昌才停止自己的行為。就是這樣的人李綱和宗澤他們要我明正典刑，當眾斬殺。害我在眾臣之中下不了台，要我以後如何是好？李綱啊！你可知道貶謫沙縣又官複原職，張邦昌可沒少幫你說好話喲。