胡太後重掌大權以後，更加放肆。她重用佞悻小人，跋扈朝廷；廣樹麵首男寵，宣淫宮掖，肆意胡為。但此時孝明帝也長大了，他容忍不了胡太後的種種惡劣行徑，就寫密信給爾朱榮，讓他進京，準備用武力脅迫胡太後退位。但是，沒想到胡太後先發製人，將孝明帝毒死了。當時明帝沒有兒子，胡太後就宣布皇女繼承帝位，大赦天下。但不久又覺得不妥，改立三歲的宗室元釗為帝。胡太後的這種昏迷錯亂，引起朝野的極大騷亂。
這次政變為爾朱榮提供了絕好的機會。他得到孝明帝暴死的消息，便與他的左右手元天穆等商議，準備進軍洛陽。他宣稱自己要“匡扶朝廷”，鏟除奸佞鄭儼、徐紇，為孝明帝報仇。為了使自己的行動更加名正言順，他與元天穆謀劃另立新帝。他在上書指控胡太後的同時，派侄子爾朱天光等入京，與堂弟爾朱世隆商議廢立之事。他們最終決定立長樂王元子攸為帝（孝莊帝），跟胡太後及幼帝對抗。爾朱天光拜見元子攸，表達了爾朱榮的忠心，元子攸應允。這樣，爾朱榮就從晉陽起兵，進軍洛陽，時值公元528年的春天。
軍隊進展順利，不久抵達河內（今河南沁陽）。爾朱榮派人到洛陽，把長樂王元子攸秘密接到軍中。四月十一日，元子攸稱帝，即孝莊帝。他任命爾朱榮為使持節、都督中外諸軍事、大將軍、開府、尚書令、領軍將軍、太原王。爾朱榮由此而登相位。實際上，莊帝隻是個傀儡，大權由爾朱榮掌握。
胡太後得知消息後，十分恐懼，急忙命令都督李神軌率軍抵抗。但李神軌臨陣脫逃，另一個將領費穆也投降了爾朱榮。一連串失敗的消息傳到洛陽，胡太後無可奈何，在失望中召集明帝所有的姬妾，命令她們全部出家當尼姑。胡太後自己也剃光了頭發。爾朱榮傳令文武百官出城迎接莊帝大駕，同時派騎兵入洛陽，逮捕了胡太後和幼帝元釗，送到河陰。雖然胡太後見到爾朱榮後拚命為自己辯解，但爾朱榮一言不發，下令把胡太後和幼帝投入黃河淹死。
爾朱榮入洛的本意自然是要稱帝，雖然胡太後已死，但奪取北魏政權卻並非輕而易舉。爾朱榮不過是一個邊遠地區的酋長，又未建立過特殊功勳，這樣自然不會為洛陽的貴族們所擁護。這時候，降將費穆向爾朱榮建議說：“您的軍隊不超過1萬人，現在長驅直入洛陽，既沒有遇到抵抗，也沒有打勝仗後的軍威，因此肯定會有很多人不服。洛陽人口眾多，人才鼎盛；如果一旦知道您的底細，恐怕會有輕視的想法。如果不大肆誅殺，樹立自己的黨羽，恐怕您北返時，不等越過太行山，政權就會再次生變。”這話正觸動了爾朱榮的心病，他深以為是，準備利用文武百官出迎莊帝的機會，誅戮他們。
他的親信慕容紹宗雖然極力勸阻爾朱榮，指出此非長遠之計。但爾朱榮心意已決，他請莊帝沿黃河西行，抵達溝渚地方。他把出迎的文武百官，引向行宮西北，宣稱要祭祀神靈。等大家集合以後，爾朱榮派騎兵將他們團團包圍，大聲宣稱：“天下大亂，明帝之死，都是由於官員們貪汙殘暴，虐待人民，不能輔佐矯止。”然後下令將他們全部殺死。幾千鐵騎來回衝殺，刀鋒鐵蹄，無情地殘殺踐踏。一時哀號連天，鮮血直濺，河陰成了血的世界，自丞相高陽王元雍以下共屠殺兩千餘人。這時，另有一批官員100餘人晚到，爾朱榮再令騎兵將他們包圍，下令說：“有誰能寫皇帝讓位詔書的，饒其不死。”侍禦史趙元則出隊執筆，爾朱榮命他的軍隊宣傳：“元家已滅，爾朱氏當興。”大家都喊“萬歲”！爾朱榮派武士數十人手持鋼刀，直奔莊帝行宮。莊帝出帳探望，爾朱榮命人把莊帝強行拖入帳中，留在外麵的衛士，又殺死了莊帝的親信。爾朱榮命人把莊帝強行押送到河橋，囚禁在營帳之中。