一些企圖向上爬的官吏紛紛向他行賄，求做監司、郡守等大官，以便到地方上去大肆搜刮。這樣一來，賈似道得了不少賄賂，同時官場上的貪汙之風也隨之大盛。
襄陽被困了三年，已經到了這個地步，賈似道還是把戰訊擱著，不讓皇帝知道。這一天，朝見皇帝的時候，度宗偶然提起，問道：“師相，聽說襄陽已經被圍了三年，你最近有沒有接到那邊的消息？”
“謠言！謠言！”賈似道板起臉孔說，“蒙古兵已經退走，襄陽城早就解圍了，而且我們還是三路大捷。現在，居然有人唯恐天下不亂，敢在陛下麵前造謠言。”
賈似道怒氣衝衝地回到家裏，立刻召集了手下商議這件事。賈似道說：“我也不用多作解釋，就跟他說我不幹了，硬是交出大權，看他怎麼辦。”
果然，度宗接到師相的辭呈，立刻慌成一團，再怎麼樣也不能告老還鄉啊！
度宗每天四五次派大臣和侍從官去傳旨挽留，又每天派人送去各種賞賜。這些被派去的人，唯恐賈似道離京歸家，竟每夜躺在賈府門外守著。
當時文天祥正好在宮裏教書，兼替皇帝辦點筆墨之類的事。
於是他召來了文天祥，讓他寫一份詔書，把賈似道挽留下來。
文天祥退下後，遇到老師江萬裏，便跟他談到這件事。
“像賈似道這樣的丞相，還有挽留的必要嗎？但既然是皇帝的命令，我看你還是依著辦吧！”江萬裏勸他。
文天祥起草詔書時，沒有像有些大臣那樣，對賈似道歌功頌德，反而直言臣下要以國事為重，指出賈似道的行為是“惜其身”“違朕心”。
這份詔草還沒有呈送給皇帝，就被賈似道先截下了，他看了以後非常惱火，因為奏章裏對他一句褒獎之辭也沒有！更令人氣不過的是，文天祥沒有經過他的同意，就擅自將奏折呈送陛下。
賈似道另外叫人重新寫了一份詔書，裏麵都是歌功頌德的話，他想讓皇帝知道，朝廷如果少了賈似道這個人，天就會塌下來。
賈似道還對他的爪牙張誌立說：“文天祥連一封詔書都不會寫，應該把他彈劾掉，免了他的各種官職。”
等皇帝批出以後，文天祥一看不是自己的原稿，就知道是怎麼回事了，他非常失望，決心引咎辭職，離開這個是非之地。
當文天祥正準備卷鋪蓋出京的時候，罷官的命令也剛好送到，文天祥歎口氣說：“14年前，我考中狀元，那時候就立了心誌，這一生絕對不倚靠勢力、追求虛名。這次應召進京，實在是想為國家出力，而朝廷卻屢次不用我的主張，如今是一事無成，隻不過替皇帝擬了一份不中用的詔書罷了，唉！”
賈似道雖然被挽留下來，朝廷裏的忠臣良將卻走得差不多了，剩下的多是一些諂佞之臣。誰要是敢說一句蒙古人攻打宋城的話，就要受到嚴厲的處罰。
當初，宮裏的女人還隻是偷偷地告訴皇帝說襄陽已經被圍困了三年，賈似道便威脅著要告老還鄉，就連皇帝的懇切挽留都不顧。結果是殺了一批宮人，才算勉強平息了這件事。
從此以後，皇帝更是百般優待他，同時，度宗特授賈似道平章軍國重事，許他三日一朝。
早在景定三年（1262年）正月，理宗已將高宗在西湖邊的集芳園，賜給賈似道做家廟和別墅，並賜予絹錢百萬。這次，度宗又在靠近裏西湖的葛嶺，賜給賈似道宅第一所，把他送到那裏去休養。
從此，賈似道每五天坐西湖船入朝一次，也不去都堂（丞相辦公的地方）理事，一切公文都由吏人送到他家中簽署。實際上大小朝政，都由他的幕僚廖瑩中和屬吏翁應龍決定，其他幾位丞相隻是掛名而已。當時人們形容這種情況說：“朝中無宰相，湖上有平章（指賈似道）。”
自此之後，朝裏的人們都不敢再提起邊境的戰事。那個時候，不但襄陽已經被圍了三年，就連樊城的戰事，也越拖越糟，有些地方的守城官員看朝廷不理他們，就幹脆投降了蒙古兵。