北魏帝國為了抵禦柔然，屏障舊都平城。曾在北方邊境設立了六個大的軍鎮，由軍鎮將領直接統轄北方。孝文帝把都城從平城遷到洛陽以後，由於六鎮原有的軍事意義因遷都而不顯重要，他奉行漢化政策，壓製武人。因此，六鎮軍將做高官的道路漸漸被封閉了，他們由此而心懷不滿。在北魏末期各方矛盾激化之時，這件事成為了導火索。不久，破六韓拔陵、胡琛、莫折大提先後起兵，以後又有杜洛周、鮮於惰禮的動亂。最終，鮮於惰禮的部將葛榮火拚了杜洛周的軍隊，成為各方軍隊的首領，共統率有數十萬眾和河北數州的地盤，聲勢浩大。
爾朱榮在鎮壓了一些小範圍的動亂後，軍事上麵臨的最大敵手也就是葛榮領導的這支軍隊。公元528年夏，葛榮的軍隊因為缺少糧食而南下洛陽，形勢危急。爾朱榮上書請求北伐，莊帝批準，爾朱榮親自率領精銳騎兵7000人，每騎另備有副馬，日夜兼行，穿過滏口，進入河北大平原，由侯景擔任前鋒。
葛榮自起事一直到現在，橫行河北，所向無敵。爾朱榮隻有7000名騎兵，數量對比呈絕對劣勢，所有人都認為戰爭勝負已成定局。葛榮也自以為必勝，下令說：“爾朱榮很容易對付，每個人都要準備一根長繩，到時好捆綁俘虜。”他在鄴城以北，築壘布陣，長達數十裏，部隊兩翼張開，向前推進。爾朱榮率軍秘密進入山穀，編成突擊隊，分配督將每三人為一組，每組有數百人馬，命他們所到之處，揚起灰塵，擂鼓呐喊，使對手不知道究竟有多少人。他又認為軍隊衝鋒肉搏，人馬相逼近，用刀不如用棒，密令戰士，每人攜帶袖棒一根，安置在馬鞍側，又考慮到戰時士卒為了殺人爭功，可能影響追逐，因此又令不準爭砍人頭，隻要棒擊。大戰開始，爾朱榮發動突擊，將士上下情緒高昂。他自己也出入敵陣，內外夾攻，終於大敗葛榮的軍隊，生擒葛榮，其餘全部投降。因為投降的人太多，如果立即把他們分散到各部隊，怕引起他們的驚懼而發生變亂。因此，他下令投降的部隊解散，隨他們所去，任由他們的家屬跟隨。大家大為歡喜，數十萬人馬，一時散盡。等他們走出百裏以外，爾朱榮才命令分別囚押處置，分別編組，充實各部隊，處置非常得當。爾朱榮對俘虜將士的頭領，量才使用，投降部眾的疑心也慢慢消除了。時人都十分佩服他在這件事上處置的果斷英明。爾朱榮把葛榮囚送到洛陽，莊帝下詔加封爾朱榮為大丞相、都督河北畿外諸軍事。
據說在爾朱榮討伐葛榮前，部隊行軍到襄垣這個地方，進行圍獵，有兩隻兔子跳到他的馬前，他彎弓發誓說：“射中此兔則擒葛榮，否則敗之！”兔子應弦而倒，部隊齊聲歡呼。平葛榮後，他下令在這兒立了一塊碑，叫雙兔碑。
擊滅葛榮以後，一兩年內，又陸續鎮壓了其他的六鎮餘眾起義。至此，六鎮的風暴就基本上被平定了。爾朱榮因此也樹立了個人更大的權威。
但是，不久又發生了一件事。在莊帝即位之初，北海王元顥南逃到了蕭梁帝國。梁國封他為魏王，並派將軍陳慶之率軍護送元顥回國即王位。當時，在北方的齊地也有邢杲起義隊伍的響應。北魏朝廷以為元顥孤弱，因此未曾用心。不料想元顥、陳慶之軍勢甚猛，逼近洛陽。莊帝大為驚恐，棄城北逃，元顥占領洛陽。
爾朱榮聽到莊帝北逃的消息後，立即乘驛車到長子晉見莊帝，一路調兵遣將。莊帝也不再北逃，命爾朱榮為前鋒，討伐元顥，幾十天內，便集結了大量兵力。
元顥占領洛陽後，驕奢怠惰，梁國士兵，也行為凶暴，因此大失民心。爾朱榮順利攻下河內，雙方隔河對峙。一段僵持之後，爾朱榮最終聽從楊侃建議，在六月十六日發動總攻。其前部偷渡黃河，襲擊得手，元顥兵敗如山倒，退出洛陽。爾朱榮乘勝追擊，大敗陳慶之，元顥不久也被殺。爾朱榮又一次因為戰功而得到朝野的敬畏。