朝廷自然也不會虧待李察罕，於是又將他拜為河南行省平章政事，兼知河南行樞密院事、陝西行台禦史中丞，仍便宜行事。
此時，“察罕帖木兒既定河南，乃以兵分鎮關陝、荊襄、河洛、江淮，而重兵屯太行，營壘旌旗相望數千裏”，他成為了手握重兵的中原王，更是各路義軍可怕的死敵——朱同誌此時尚處於事業的起步階段，勢力顯然還無法同李察罕抗衡。
如果不是有山東還在威脅著李察罕部的側翼，如果朱同誌再招搖些，李察罕估計就會在蕩平了龍鳳政權殘部後，下一步就揮師南下滅了他。剩下的陳友諒部估計也多活不了幾天。
山東當時屬於中書省，既是紅巾軍的一大根據地，且又地近大都，李察罕自然不能無視這塊心腹之患。於是，李部“日修車船，繕兵甲，務農積穀，訓練士卒，謀大舉以收複山東”。
可是，就在李察罕已經將進攻的矛頭瞄準山東時，他的後方卻出了問題。
知樞密院事答失八都魯曾節製過河南諸軍，也曾是李察罕的上司，當時答失八都魯的兒子孛羅帖木兒率軍駐守在大同。本來山西、河北的大部分地方都是李察罕所平定和掌握的，但是孛羅帖木兒看著眼熱，也想將山西、河北收入囊中。李察罕自然不依，結果雙方弄到兵戎相見。
朝廷多次下詔調解無效，如此一來，也就延遲了李察罕進攻山東的時間，也大大推遲了他率軍南下的時間，朱元璋部因此獲得了發展壯大、雄踞江南的寶貴時機。
毛貴是至正十九年被趙均用謀殺的，所以到了至正二十一年時，便有消息傳到了李察罕那裏：山東的紅巾軍已經群龍無首，陷入了自相殘殺的境地。
這年六月，看準了時機的李察罕，拖著病體由陝西抵達洛陽，大會諸將，商議征討山東的事宜。到了八月，一路高奏凱歌的元軍已經緊緊地包圍了山東東部的東平城。
東平原是紅巾軍嚴密設防的一座重鎮，守將田豐等人都龜縮於東平城中。隻要一番強攻，東平旦夕可下。
可就在這時，老謀深算的李察罕考慮到田豐“久據山東，軍民服之”，於是專門寫了書信招降田豐。結果，就坡下驢的田豐與王士誠等人投降了李察罕，東平、濟寧等地區就此被元軍收複。
之後，李察罕又繼續攻略山東其他地區，其中，濟南在被圍三個月後被元軍收複。
為了表彰李察罕的卓越功勳，朝廷再次下詔拜李察罕為中書平章政事、知河南山東行樞密院事，陝西行台中丞如故。
到了至正二十二年，山東地區已基本被平定，隻有孤城益都還未拿下。
而就在李察罕將要一舉蕩平北方、重造大元之時，一件誰也沒有預料到的事情發生了，它徹底改寫了大元的曆史。
當時，已經投降的田豐、王士誠等人心有不甘，他們暗中聯絡原紅巾軍將士，準備再次發動叛亂。
而自打田豐投降後，李察罕一者是為了徹底收服人心，二者也是出於過分的自信，對田豐等人基本沒加防範，甚至有好幾次隻帶著少數隨從去田豐營中巡視。這正給了田豐等人以可乘之機。
這年六月的一天，已經打定主意的田豐邀請李察罕到他的營中視察。李的部下已經聽聞到一些風聲，所以力阻他前往，可是李察罕卻說：“我既然推心待人，又怎麼能處處提防別人呢？”屬下人又建議他多帶隨從，結果也被他拒絕了。
最後，李察罕隻帶著輕騎十一人前往。在到達田豐營後，事先早已準備好的王士誠等人率眾一擁而上，將其刺死。
大元柱石一傾，“帝震悼，朝廷公卿及京師四方之人，不問男女老幼，無不慟哭者”。
《元史》中甚至還記載說，此前曾出現了奇異的天象，太史為此上奏順帝說“山東當大水”，而聰明的順帝馬上意料到“山東必失一良將”。皇帝甚至還急忙下詔告誡李察罕留心，但使者還沒到達，李察罕已經喪命。