賈似道還特別愛好珍寶、古玩。他將搜刮來的珍寶、古玩集中起來，特意建造“多寶閣”儲存，每天他都要去觀賞一次。為了搜刮這些東西，賈似道不擇手段，他聽說已故兵部尚書餘玠有一條價值很高的玉帶，專門派人去訪求，當他聽說這條玉帶已隨餘玠殉葬之後，居然命人掘墓弄了出來。
公元1271年，忽必烈稱帝，改國號叫元，這就是元世祖。元世祖借口南宋不執行和約，還扣留蒙古使者郝經一行人，派大將劉整、阿術領兵進攻襄陽(今湖北襄樊市)，宋軍連戰連敗，襄陽城被困了五年。賈似道把前線的消息封鎖起來，不讓宋度宗知道。有個官員上奏章向宋度宗告急，奏章落在賈似道手裏，那個官員馬上被革職了。
一天，宋度宗從一個宮嬪那裏得到襄陽被圍的消息，十分驚異。他詢問賈似道，賈似道卻當麵掩蓋事實說：“蒙軍已經退走，陛下怎麼知道襄陽被圍？”宋度宗告訴他是身邊的一宮女說的，賈似道馬上捏造一個罪名，將那名宮女處死。從那以後，宋度宗再也聽不到元軍進攻的消息了。
由於賈似道長期延誤宋元戰事，南宋。1273年1月，樊城被元軍攻破。襄陽被圍多年，糧盡援絕，城中拆屋當柴燒，縫紙幣做衣服穿，宋將呂文煥不斷向朝廷告急。軍情如此危急，賈似道不能不有所表示。但他又很怕死，因此他一麵假惺惺地向皇帝要求親臨前線，一麵又暗地裏指使人上奏皇帝，把自己留在朝中。2月，呂文煥獻襄陽城投降了元朝，消息傳來，賈似道對度宗說：“如果早讓我去前線，決不會造成今天這種局麵。”這樣，賈似道既巧妙地把襄陽失陷的責任推給了別人，又乘機表現了自己的“愛國熱忱”。
正當困難當頭之際，賈似道的母親胡氏活到83歲老死了。賈似道身為執政宰相，不僅不積極組織抗元，反而乘辦喪事的機會，大擺排場，炫耀自己的權位。朝廷賜給他水銀、龍腦各五百兩，銀一萬兩，絹一萬匹，田六千多畝，度宗親自前去祭奠。賈似道回台州治喪，動用皇帝的儀仗送葬。下葬那天，整天下雨，山洪猛漲，所有送葬的官員都站立水中，連動也不敢動一下，整個喪事耗費無法計算。
元世祖看到南宋腐敗到這種地步，決定一鼓作氣消滅南宋。他於1274年6月派丞相伯顏率領大軍，水陸並進，由襄陽順漢水而入長江。沿江重鎮郢、漢陽、鄂州相繼攻陷。12月，伯顏用4萬人守鄂州，自己率領大軍與元軍阿術的隊伍一同東下，向臨安進發。在此之前，度宗已於7月去世，年僅4歲的趙顯繼位，這就是恭帝。皇太後垂簾聽政，賈似道仍想乞求議和，元丞相伯顏沒有理睬。後來元軍在長江兩岸發起進攻，宋軍全線崩潰，賈似道狼狽逃到揚州，沒有一人願去追隨他。經過這一次交戰，宋軍主力喪失殆盡。
賈似道回到臨安，皇太後降旨罷免了他，並將他流放循州(今廣東惠州)。在流放循州的路上，賈似道被押送的縣尉鄭虎臣殺死，一代權奸就此結束了罪惡的一生。賈似道遭貶斥後，他的爪牙也大多被殺或遭到別的懲罰。