像曆代許多陰謀家一樣，阿合馬得勢朝廷後，就凶相畢露，耍盡權謀，鏟除異己，以擴大自己的勢力，到了1274年，安童向忽必烈奏劾阿合馬專權誤國，忽必烈並沒有理會。第二年安童受命出鎮北邊，實際上是被阿合馬排擠出了朝廷。在此前後，漢法派大臣史天澤、劉秉忠、趙璧等人先後死去，漢法派勢力極度削弱，便團結在皇太子真金的周圍與阿合馬抗衡。真金積極推行漢法，對阿合馬的橫行跋扈十分厭惡，甚至當著忽必烈的麵怒打他，這給了漢法派很大鼓舞，決心依靠真金和阿合馬鬥爭下去。
有一次，阿合馬的同黨發生內訌，有人上告阿合馬竊國家財物為己有，忽必烈命中書省調查，但是中書省的官吏都畏懼阿合馬的權勢，怕遭報複，互相推諉。惟有中書右丞廉希憲剛直不阿，親自查實，隨即上奏忽必烈。忽必烈命阿合馬到朝廷核實，阿合馬極力申辯。廉希憲滿腔怒火，就拿棍子向阿合馬打去，使阿合馬狼狽不堪，恨透了廉希憲。然而，忽必烈仍然沒有治阿合馬的罪。以後，廉希憲反而因出言耿直，觸怒忽必烈而被罷官。
一天，忽必烈問身邊的人，廉希憲在家幹什麼，侍臣回答說在讀書，阿合馬乘機進讒言道：“我聽說廉希憲整天和妻子舉行宴會。”忽必烈也感到阿合馬在胡說八道，隨即斥責道：“希憲清貧，拿什麼舉行宴會？”阿合馬隻好低頭稱是。誣陷不成，就拉攏利誘，這是阿合馬經常采用的軟硬兼施的手段。由於廉希憲在朝廷中很有威望，他患病時，忽必烈派禦醫診治，大夫說須用砂糖治病，當時砂糖很不好弄到。阿合馬聽說後馬上派人送去，表示慰問，想借機拉攏關係，廉希憲憤而不用。
宿衛秦長卿，目睹阿合馬禍國殃民，陷害異己，忍無可忍，就上書忽必烈，曆數阿合馬陷害忠良、無惡不作的罪行。忽必烈又交中書省查辦。阿合馬見事不妙，拿出大量錢財賄賂中書省的官吏，唆使他們在忽必烈麵前為自己美言和鳴冤，阿合馬的同黨也為解救阿合馬而到處活動，於是不了了之。阿合馬恨不能立即把秦長卿置於死地，但是他不在自己的管轄之下，抓不住陷害他的把柄。於是阿合馬絞盡腦汁，想出了一個極其陰險毒辣的陰謀。過了不久，阿合馬假惺惺地上奏說，秦長卿直言敢諫，才能出眾，應以重用，請求任命秦長卿主管冶鐵。秦長卿上任後，阿合馬就指使心腹誣陷秦長卿克扣貪汙數萬銀兩，被逮捕下獄，抄斬其家門，妻兒老小無一幸免。
阿合馬在任製國用使時，與亦麻都丁不和。後亦麻都丁因欠官銀無力償還，阿合馬乘機羅織罪名，把他陷害入獄。還有一個叫劉仲澤的官吏，也因冒犯阿合馬，被阿合馬無辜治罪。
阿合馬把這三個人抓進監獄還不算完，非要殺掉他們而後快。主管此事的兵部尚書張雄飛堅持不能治以死罪，阿合馬送去重禮賄賂，並派人捎信說：“如果你把這三個人殺了，我一定委你重任。”張雄飛怒道：“靠亂殺無辜謀取高位，我不幹。”阿合馬見賄賂不成，就翻臉奏請忽必烈任張雄飛為澧州（今湖南澧縣）安撫使，把他排擠出朝廷。隨後又買通了獄吏，把秦長卿等三人害死在獄中。