而對宋來說，穎、壽、宿、邳、徐五州本是乾道北伐奪回，現在又被金軍奪走而己，隻是基本是恢複到乾道北伐之前的局麵，而且穎、壽、宿、邳、徐五州被金國收回之後，海州就和大宋分割開來，也很難守住，到於鄧、唐、蔡三州本來就位於宋金交界，在雙方之間己易手好幾次了，失去也不算什麼。而且畢竟逼迫金軍退出了淮東。另外在西邊留住新會州，擴大了和西夏連壌的領土，並保持著對金軍西邊的半包圍局麵，這樣的結果，也不是不能接受。
雙方議和的第二點就這麼確定下來。
而最難確實的一條, 就是歲幣的問題。趙忱是堅決不同意向金方交納歲幣的，而對於完顏雍來說，這一次南征大金耗廢巨大，所占的地方大多數都是被宋朝乾道北伐奪去的，現在收回並不值得誇耀，因此絕對不能這麼毫無收獲的結束。如果不能取得歲幣，就這麼撤軍，那麼這一次南征可算是一事無成，自己在囯內的威信就會大大降低，恐怕震壓不住局麵了，說不定有那一個親王會仿校自己當年，，再來一次弑君奪位的舉動來。因此完顏雍也決定，必須要取得歲幣，否則寧可破釜沉舟，與宋軍決一死戰，也絕不這麼灰溜溜回到國中去。
於是雙方就為是否交納歲幣的問題連議了四天，但都不願意讓步，就這麼僵持起來。
然而這時又有消息傳來，趙愷又連續攻取了湖州和嘉興府。並且命令李全進攻廣德軍。湖州和嘉興府現在都是被金軍占領的地方, 當然不會真是被趙愷奪去的, 顯然是故意讓給趙愷的, 目地自然還是擴大趙愷的勢力範圍，向建康朝廷施加壓力，迫使建康朝廷接受歲幣的條件。和談期間雙方罷兵是僅限於趙忱和金軍兩方，因此金軍的這種做法並不算違約。
建康朝廷自然知道金軍的目地，而且也早有準備，楊炎立刻下令，讓張師顏率一萬人馬，在建平阻擋李全的人馬，又令劉複武率領騎軍，從側翼進攻。將李全的二萬人馬打得大敗，李全隻好退守廣徳軍。張師顏進軍廣徳城下，李全居城而守，向臨安求救。二天以後，攻取了湖州的邵宏淵率三萬大軍趕來救援廣德軍。
雖然建康府和金軍停戰，但也不敢有絲毫大意，大軍仍然重點防範金軍，能夠抽調與臨安軍交戰的人馬並不多。張師顏見臨安軍人多，遂將人馬撤回建平。而邵宏淵也不敢追擊，就在廣德軍駐守。而趙愷也在調兵遣將，打算集中大軍，進攻建康，一時間聲勢也頗為浩大。
然而這樣的局勢令建康朝廷的大臣們憂心重重，連陳俊卿都有些沉不住氣了，和梁克家、洪適、劉珙一起進宮來勸趙忱道：“陛下雖有恢複之誌，然而如今內晦外擾，時不可解，唯今之計，不訪許給金國一些歲幣，先把眼前的危局度過去。等平定大宋內亂之後，再絕歲幣，行恢複也不為遲晚。”
梁克家和洪適本來就認為現在的和約以經談得很不錯了，既不用稱臣，也不用割地，比起紹興議和來，以經好得太多了，隻不過付些歲幣，又有什麼不可呢？自“澶盟之盟”以來，大宋不都一直向周邊國家交納歲幣嗎？不過因為趙忱說得堅決，才不敢相勸。見陳俊卿都鬆了囗，也紛紛進言，認為見好就收吧，交給金國一些歲幣也沒什麼？連劉珙也覺得這樣一天天拖下去也不是辦法，也勸趙忱答應。
趙忱也知道現在自己是處於雙線作戰，雖然不算是形勢危急，但也絕對不容樂觀。但要這樣同意交納歲幣，趙忱又覺得心有不甘，緩了一緩才道：“卿等之言，切容朕三思。”
陳俊卿等人也不敢過去逼迫皇帝，一齊告退。
趙忱正在煩惱，忽然內侍來報：楊炎和辛棄疾、陳亮一起求見。趙忱聽了，想到莫非他們也是為歲幣之事而來的嗎？不知姐夫有什麼好辦法，立刻道：“宣。”
就像楊炎所說，辛棄疾和陳亮雖然都力主恢複，但也是明白事理的人，清楚現在的局勢，因此在楊炎的勸解之下，也者認為可以和金國暫時議和。這也讓趙忱放心了不少，因為辛棄疾和陳亮都是趙忱非常看重的人，日後打算重點啟用，趙忱不希望他們會對朝廷失望。
不多時，內侍領三人進見，施禮之後，楊炎立刻道：“陛下是否在為金人索要歲幣之事煩惱？”
趙忱點點頭，道：“正是，金人必須索要歲幣，方準議和，而朕卻不甘心，但議和久拖下去，也是不利。卿等有什麼好辦法嗎？”