脫脫正打算鼓勵將士們一鼓作氣攻進城去，忽然京城頒下聖旨，派河南行省左丞相太不花、中書平章政事月闊察兒、知樞密院事雪雪代替脫脫統領兵馬。脫脫正在驚異，帳外把守的士兵又通報說宣詔使來了。軍中參議龔伯遂料定這次的詔書一定會加罪於脫脫，連忙秘密稟告脫脫說：“將在外，君命有所不受。丞相隻管一心一意進軍討伐，不要接讀詔書，如果詔書打開宣讀，清除叛賊的大事就要功虧一簣了！”脫脫說：“天子有旨，我如果不從，就是抗命；我隻知道有君臣大義，至於個人的生死利害，我不會計較。”說完把宣詔使請進來，自己跪下恭聽詔書。詔書大意是說丞相脫脫勞師費財，不堪重任，立即削去官職爵位，調到淮安。將官們聽到詔書都大吃一驚，唯獨脫脫自己麵不改色，而且叩頭說：“臣本來就是個很愚蠢的人，蒙天子寵信，委托臣管理軍國大事，日夜膽戰心驚，生怕自己不能勝任，今天終於可以放下這副重擔了，真是皇恩浩蕩！”說完起身送走宣詔使。
然後脫脫召集眾將士，命令大家各自率領自己的部隊，聽從後任統帥的統領。又撥出兵甲和名馬三千作為賞賜，將士們全都流下眼淚。客省副使哈剌答縱身跳起來說：“丞相這一走，我們這些人一定會死在他人的手中，今天我寧可死在丞相麵前，以報答你的知遇之恩。”說完拔劍在手，向脖子上一抹。脫脫慌忙起身去阻攔，已經來不及了，隻見哈剌答鮮血四濺，倒在地上。脫脫撫屍大哭，眾將也不免悲傷，哭聲如雷。
脫脫下令將屍體安葬，並把軍符封上，交送太不花，自己率著幾十名隨從直向淮安而去。途中聽說弟弟也先帖木兒也被削職趕出京城，調到了寧夏，雖說這是意料之中的事，但終究免不了愁上加愁。這時已快到年末，四野蕭條，寒風慘慘，大雪紛飛，滿目淒涼令人難以忍受。脫脫在驛館中過了除夕，直到正月初才到淮安。沒過幾天，又接到朝廷傳來的旨意，命令他再遷到甘肅行省的亦集乃路。脫脫不能不去，剛動身，又來了一道嚴厲的詔旨，不但把他遷到雲南，還把他的弟弟也先帖木兒遷到四川，他的長子哈剌章被發配到肅州，二兒子三寶奴被發配到蘭州，所有的家產全部沒收充公。脫脫聽了後歎息著說：“罷了！罷了！哈麻，哈麻！你也太狠毒了。”
原來哈麻被降職後，聽說是被脫脫彈劾，氣得暴跳如雷，七竅生煙，暗想脫脫如此可惡，一定要把他弄死才肯罷休。於是哈麻一麵勾結寵後奇氏，一麵囑托言官袁賽因不花，讓他們內外勾連，陷害脫脫全家。順帝沉湎酒色，昏庸無道，而且因為上次脫脫強行闖宮進諫，一直暗中懷恨。現在內有美女蠱惑，外有奸臣誣告，如同火上澆油，愈演愈烈，於是順帝也不問是非，接連傳下昏亂的詔旨。
脫脫遷徙到雲南，來到大理騰衝，遇見知府高惠，高惠殷勤接見，盛情款待。酒過三巡，高惠開口說：“您是國家的中流砥柱，偶然走黴運，轉眼間就會重見光明，還請不要擔憂。”脫脫說：“我已經有負國恩，皇上不賜我死罪，把我安置在這裏，已經算是萬幸了。”高惠說：“您太謙虛了。”
談話間，忽然從屏風後麵冉冉走出一個妙齡美女，隻見她柳眉杏眼，麵若桃花，羞羞答答地來到高惠座旁站住。高惠命她拜見脫脫，驚得脫脫連忙離座還禮。脫脫問高惠：“這是你家什麼人？”高惠說：“這就是小女，因為我知道您不是常人，所以讓小女前來拜見。”脫脫心中懷疑，口中卻連稱不敢。
高惠讓女兒進去，又請脫脫就座，再次斟酒說：“您這次來沒帶家眷，起居有很多不方便。小女雖然出身低微，長相一般，然而侍候人還是可以的。我的意思是把她獻給公做妾，還望不要推卻才好！”脫脫大驚：“我是一個戴罪之人，哪敢委屈名門之女！”高惠不等他說完就說道：“您今天來到這裏，明天就會被重新起用，遇到順境，前途必定不可限量，我們這些人還要托您關照呢。”脫脫搖頭說：“我自知得罪當道，性命恐怕都保不住，還指望什麼榮華富貴呢？”高惠道：“不要緊！我會為您建一座密室，就算有人想加害您，有我在這裏，一定可以保您無憂。”脫脫還是堅決推辭，這讓高惠非常生氣。等脫脫離開後，高惠竟派出鐵甲軍監視脫脫的行蹤。等他走到阿輕乞，竟派鐵甲軍將他的驛舍圍住。脫脫心中已經橫下一個“死”字，倒也不怎麼驚慌，無奈京城的密詔又飛馬傳到雲南，眼見脫脫是性命難保了。