孫騰認為如今和朝廷斷絕了關係，如果不暫時立一位皇帝的話，眾人的心就沒有一個維係的地方。十月初六，立章武王元融的兒子勃海太守元朗為皇帝，年號中興，這就是廢帝。當時，爾朱度律、爾朱仲遠軍隊到達陽平，爾朱兆前來跟他們會兵。高歡采用竇泰的反間計，使爾朱度律跟爾朱仲遠不戰而回。於是，高歡在廣阿打敗了爾朱兆。十一月，進攻鄴城，相州刺史劉誕據城固守。高歡建造了土山，挖掘地道，中間樹起許多大木樁，然後放火焚燒，城牆倒塌陷入地下。麻祥這時是湯陰的縣令，高歡稱他叫“麻都”，麻祥深感羞愧而逃走。
永熙元年（532）正月十七日，攻克鄴城，占領了它。廢帝晉封高歡為大丞相、柱國大將軍、太師。這時，青州舉義兵的大都督崔靈珍、大都督耿翔都派人前來歸附，行汾州事劉貴棄城前來歸降。
閏三月，爾朱天光從長安，爾朱兆從並州，爾朱度律從洛陽，爾朱仲遠從東郡，一齊會兵鄴城，號稱二十萬人，沿著洹水駐紮軍隊。節閔帝任命長孫承業為大行台，總督各軍。高歡命令封隆之守鄴城，自己領兵駐守紫陌。當時，高歡騎兵不到兩千，步兵不滿三萬，眾寡懸殊。他便在韓陵布置了一個圓形的陣勢，把牛驢相互用繩子牽在一起，塞住了軍隊的退路，於是將士們都準備死戰，四麵出擊。爾朱兆責備高歡背叛自己。高歡說：“我本來和你們同心協力，共同輔佐王室，如今莊帝何在？”爾朱兆說：“莊帝枉殺天柱大將軍，我替他報了仇。”高歡說：“我往日曾經親耳聽到天柱大將軍的計謀，你當時就站在門前，怎麼還敢說不是反叛呢？況且以君殺臣，有什麼仇可報？今日和你已經斷絕恩義了。”於是兩軍合戰，大敗爾朱兆軍。爾朱兆對著慕容紹宗說心裏話：“悔不聽您的話，以至於此。”準備輕身逃走。慕容紹宗反轉旗幟，吹響號角，收集散落的士卒，排成隊列西退。高季式帶著七騎追奔。越過野馬崗，跟爾朱兆相遇。高昂望不到高季式的身影，哭著說：“我弟弟喪失了！”深夜，高季式才回來，血流滿袖。斛斯椿日夜兼程，先行占據河橋。起初，在普泰元年的十月，歲星、火星、鎮星、太白星都集中在觜、參兩宿間，十分明亮。太史占卜說，應當有王者興起。當時，高歡起兵於信都，到這時擊敗了爾朱兆等。
四月，斛斯椿捉住爾朱天光、爾朱度律，送到洛陽。長孫承業派都督賈顯智、張歡進洛陽，抓了爾朱世隆、爾朱彥伯並把他們斬首。爾朱兆逃往並州。爾朱仲遠逃奔梁朝，死於梁。這時，群凶被除，朝廷歡慶。起先，未開戰的前一月，章武人張紹夜間忽然被幾位騎士帶著越過城牆，來到一位大將軍跟前，他命令張紹給軍隊當向導前往鄴城，說是去幫助受天命的人除去殘賊。張紹回頭望時，看不清有多少兵馬，軍容整齊行動迅速而聽不見聲響。將到鄴城時，才把張紹放了。當作戰的時候，爾朱氏的軍隊看見陣外人馬四麵合擊，分明是神助高歡啊！
接著，高歡到達洛陽，廢掉節閔帝和中興帝，立孝武帝。孝武帝即位後，封高歡為大丞相、天柱大將軍、太師，世襲定州刺史，加封的跟從前受封的食邑共十五萬戶。高歡辭去天柱大將軍的封號，減去五萬戶食邑。二十九日，高歡回鄴城，魏孝武帝在乾脯山為他餞行，拉著手告別。
七月初十，高歡帶領軍隊北伐爾朱兆。封隆之對他說，侍中斛斯椿、賀拔勝、賈顯智等過去都侍奉爾朱氏，後來都反過來咬他們，如今都在京城受到寵信，必然會造成禍患，高歡十分讚同他的看法。於是把爾朱天光、爾朱度律送到洛陽斬首。自己帶兵從滏口進軍。爾朱兆在晉陽大舉搶掠，然後退向北麵據守秀容，並州亂平。高歡因晉陽是四麵都有要塞的地方，就在這裏建大丞相府，定居晉陽。
爾朱兆退回秀容以後，分兵把守各險要地方，時常進出搶劫掠奪。高歡聲言準備起兵征討。他帶兵出發後又半途停止了，這樣連續搞了幾次，爾朱兆也就不加在意了。高歡估計爾朱兆年初一定要大開宴會，便派竇泰帶領精銳騎兵飛馳前往，一天一夜行軍三百裏，高歡統帥大軍在後麵跟著前進。
永熙二年（533）正月，竇泰突然來到爾朱兆的王庭。士兵們因為宴會而休息，十分怠惰，忽然見到竇泰的軍隊，大驚而逃，竇泰緊追不舍，在赤洪嶺擊敗爾朱兆的軍隊。爾朱兆自縊而死，高歡親自前往，厚葬了他。慕容紹宗帶著爾朱榮的妻子和殘餘人馬占據烏突城自保，投降以後，高歡認為他是講義氣的人，所以加以厚待。
高歡到洛陽以後，爾朱仲遠部下的都督橋寧、張子期從滑台歸來複命，高歡認為他們幫助爾朱氏作亂，而且幾次反複，便把他們全部斬首。斛斯椿因而心中不安，便跟南陽王元寶炬，以及武衛將軍元毗、魏光、王思政一起在魏帝麵前講高歡的壞話。舍人元士弼又上奏說，高歡在接受皇帝的旨意時大不敬，因而魏帝便產生疑心而對賀拔嶽懷有戒心。起初，還是孝明帝的時候，洛陽有人用兩隻跋互相敲打，傳謠言說：“銅跋打鐵跋，元家世將末。”喜歡生事的人就說，這兩個拔指拓跋和賀拔，說的是他們將要衰敗的前兆。
這時司空高乾秘密報告高歡，說魏帝懷有貳心。高歡把來信封好，送給魏帝，魏帝便將高乾殺掉了。接著魏帝又派徐州刺史潘紹業拿著密令給長樂太守龐蒼鷹，讓他殺掉高乾的弟弟高昂。高昂先已得知哥哥被殺死的消息，他以槊紮入大柱，埋伏壯士在路上抓住了潘紹業，從他的衣袍領子上找到了密令，他便跑來投奔高歡。高歡抱著高昂的頭哭著說：“天子枉殺了司空了。”他立即派人送白武幡安撫高乾的家屬。當時，高乾的二弟高慎在光州，為政嚴厲，又縱容部下亂收賄賂，魏帝派人去代替他的職位。高慎聽說哥哥遇難，準備逃奔梁朝，他的下屬說：“你們高家功勳很重，朝廷必定不會讓兄弟相互牽連的。”於是，他穿著破衣服推著小車回勃海，路上遇到使者，也來投奔高歡。於是魏帝和高歡有了仇隙了。
阿至羅虜在正光以前常常自稱為藩國，自從魏朝發生內亂以後，都反叛了。高歡派使者招降他們，使之誠心歸順。開始，魏帝下詔說，各地盜賊均已平定，取消大行台的建製。到這時，又考慮到遠方國家歸降，重新任命高歡為大行台，根據情況隨時處置有關事宜。高歡送給這些藩國粟米布帛，許多人議論說這是徒勞而無益的事情。高歡不聽，依然像起初那樣安撫他們。這個部落的首領吐陳等很感激高歡的恩德，都聽從他的指揮，在救援曹泥，攻取萬俟受洛幹的時候，大得他們的效力。河西費也頭虜紇豆陵伊利居住在苦池河，自恃占據險峻的地勢和人數眾多，高歡幾次派長史侯景前去招降，但都不肯聽從。
天平元年（534）正月初九，高歡在河西討伐費也頭虜紇豆陵伊利，滅了他們，把部落的人遷移到河東。
二月，永寧寺的九層佛塔發生火災。不久有人從東萊到洛陽，說在海上的人都從海裏見到火災的景況，不久大霧彌漫，這才看不到了。有人這樣解說，認為是天意，並說：“永寧見災，魏國不寧；飛入東海，勃海應運。”
魏孝武帝有了其他的圖謀以後，當時侍中封隆之曾經私下裏跟孫騰談過。封隆之剛死了妻子，魏帝想把堂妹嫁給他。孫騰對封隆之說的話不大相信，存心想害封隆之，就把他私下講的話泄露給了斛斯椿。斛斯椿又告訴了魏帝。孫騰還帶著兵器進入朝廷，擅自殺死禦史，逃去投奔高歡，並對他說，魏帝先打過舍人梁續，光祿少卿元子幹又伸臂痛打，並對孫騰說：“告訴你們那位高王爺，元家人的拳頭就是這樣的。”領軍婁昭也以身體有病而辭職回到晉陽。魏孝武帝便任命斛斯椿兼任領軍，分別設置督將以及河南、關西各州刺史。華山王元鷙掌管徐州，高歡便派邸珍去奪了他掌管的鑰匙。建州刺史韓賢、濟州刺史蔡儁，都是跟高歡一起舉大義的，魏帝也對他們有顧忌，便裁去建州，使韓賢離職，又派禦史尉綦儁去收集蔡儁的罪證，任命開府賈顯智為濟州刺史，蔡儁拒不服從。
魏帝更加惱怒，五月下詔說，準備討伐句吳，便征發河南各州的軍隊，增設宿衛軍，鎮守河橋。六月初六，送密詔給高歡說：“宇文黑獺自從討平秦、隴以來，多為非分之求，恐有非常之變，諸事及物品均需籌劃處置。但往來表啟尚未完全背叛乖戾，欲進討則過於匆忙。因而召集群臣，商議可否。都說可假稱南征，內外戒嚴，一則防備黑獺的不測之事，二則可對吳楚揚威。”當時魏帝準備討伐高歡，高歡便部署各路將帥，他們相互疑慮，所以魏帝有這份詔書。高歡收到後，便上表說：“荊州連接蠻東，靠近畿服之地，關隴自恃偏遠，將有叛逆圖謀。臣如今暗勒兵馬三萬，擬從河東而渡；又派恒州刺史厙狄幹、瀛州刺史郭瓊、汾州刺史斛律金、前武衛大將軍彭樂擬合兵四萬從來違津渡河；派領軍將軍婁昭、相州刺史竇泰、前瀛州刺史堯雄、並州刺史高隆之擬合兵五萬征討荊州；派冀州刺史尉景、前冀州刺史高敖曹、濟州刺史蔡儁、前侍中封隆之擬合山東兵七萬，突騎五萬，以討伐江東。現皆已約束各部，聽候處置。”魏帝感到高歡已經知道變故，便將他送來的奏表，讓群臣們商議，想要製止住高歡的各路兵馬。
高歡也聚集了在並州的所有臣僚們，讓他們廣為議論，接著又送來一份奏表，仍然信誓旦旦。自表忠誠，表中說：“臣不幸遭受嬖佞之臣的挑撥離間，使陛下一旦產生猜疑，而有猖狂之罪，如爾朱時之計。臣下如果敢不盡心竭力，有負於陛下，則願身受天災，子孫絕滅。陛下如仍信我一片赤心，使幹戈不動，佞臣一二人，請斟酌黜廢以出之。”
二十日，魏帝又將表抄出讓在京的文武大臣商議，答複高歡。他讓舍人溫子升起草詔書，溫子升猶豫半天不敢動筆，皇帝坐在胡床上拔劍變了臉色，溫子升這才起草一份詔書說：
“前將心血，遠示高王，深望彼此相互體諒，而不肖之徒，坐生離間。近孫騰倉猝向北，致使聞者疑有異謀。故派禦史中尉綦儁，詳述朕之心懷。今得王之來信，言辭誓願，誠懇淒惻，反複思考，猶有未解之由。以朕眇然之身，遇高王雄武大略，不勞尺刃之力，坐為天子之尊。所謂生我者父母，貴我者高王也！今如無故而背王，規劃相互攻討，則使朕自身以及子孫，還如高王所誓之辭，皇天後土，實聽此言。
“近憂慮宇文氏作亂，賀拔勝呼應，故嚴於管束，要與王互相聲援。今日宇文氏使者相望於路，觀其所作所為，並無異常。賀拔氏在南方，開拓邊境，為國建功，實無可責之處。君如欲分兵征討，何以為辭？東南不來賓服，為時已久，先朝以來，置之度外。今天下戶口減半，不宜窮兵黷武。
“朕既暗昧，不知佞人是誰，可開列姓名，令朕知之。如聽厙狄幹對王說：（本想立懦弱者為帝，無事立此長君，使之不聽駕禦。今隻須出兵十五日，便可廢去，另立其餘。）如此議論，自是高王處的功臣，豈是出於佞臣之口？去年封隆之背叛，今年孫騰逃走，高王不治罪不送回，誰不責怪高王？孫騰既是為禍之始，竟無愧懼之心，高王如事君竭盡忠誠，何不斬送二人首級？高王啟奏謀圖西進，而四路兵馬俱發，或要南度洛陽，或要東臨江左，言之者應覺自怪，聞之者豈能不疑？高王如謹守忠誠，不懷貳心，安然居於北方，此處雖有百萬之眾，終無圖取之心。高王如聽信邪說，背棄信義，舉旗南下，這裏縱無匹馬單輪，猶欲奮舉空拳而以死相爭。朕本寡德，高王已立之，百姓無知，或以為實可。假如為他人所圖取，便彰顯朕之惡跡；如果還是被大王所殺，幽禁淩辱，化為粉末，毫無遺恨。何也？高王既然以德推朕為帝，以義而舉，一朝背德舍義，便是過失有人承擔。
“本望君臣一體，有如符契相合而一，想不到今日，分岐疏離竟至於此。古語說：‘越人射我，笑而道之；吾兄射我，泣而道之。朕與高王之親，情如兄弟，所以投筆撫胸，不覺噓唏。”
起先，高歡從京城北上時，曾經認為洛陽久經喪亂，王氣已經衰盡了，雖然有山河的險固，但土地偏小狹窄，不如遷往鄴城，因而請求遷都。魏帝說：“高祖在河洛定鼎，是作為永久的帝基。經營製度，直到世宗時才完成。大王既有功於社稷，應當遵守太和年間所立舊規。”高歡遵從了詔令。到這時，他又想重提遷都。他派一千騎兵鎮守建興，增加河東和濟州的兵馬，在白溝擄掠運糧船，不讓駛向洛陽。各州的和糴粟米，讓運到鄴城。魏帝又下詔給高歡說：“大王如願順伏人心，杜絕議論，唯有召回河東之兵，廢除建興之戍，送來相州之粟，追回濟州之兵，命令蔡儁接受替代，邸珍讓出徐州，停止戈矛，放散馬匹，讓各人重務舊業家事。如需糧食，另派人運送。這樣讒人就無言可說，而疑悔之心不生。大王高枕無憂於太原，朕垂拱而治於洛陽，終身決不舉足渡河，以幹戈相對。王如馬首向南，以問九鼎之輕重，朕雖不習武藝，欲止而不能，必定為保全社稷宗廟，製定萬死之策。事取決於大王，非朕所能自定。為山者而怕功虧一簣，故應相互珍惜之。”
這時，魏帝任命任祥為尚書左仆射，加開府。任祥棄官走到河北，占據郡城等候高歡。魏帝便下詔說，文武官員，凡是從北麵來京的，來去聽其自願。同時又下詔曆數高歡的罪狀，作北伐的準備。高歡也勒馬宣告說：“我因為遇到爾朱氏擅權，在四海之內高舉義旗，擁戴皇上，義氣貫於天地。橫遭斛斯椿讒言，造成嫌隙，以忠誠之心變為逆叛之首。昔日趙鞅在晉陽興兵，驅除國君身邊的惡人。今日南下，殺斛斯椿一人而已。”他任命高昂當先鋒，並說：“當日如果聽從司空的話，怎麼會有今天的舉動呢！”司馬子如回答高歡說：“原來說要立年紀小的，也正因為怕出這種事情啊！”
魏帝征召關西軍隊，又召賀拔勝來到京城。派遣大行台長孫承業、大都督潁川人王斌之、斛斯椿共同鎮守武牢關，汝陽王元暹鎮守石濟，行台長孫子彥帶領前恒農太守元洪略鎮守陝州，賈顯智率領豫州刺史斛斯元壽攻打蔡儁。高歡派竇泰跟左箱大都督莫多婁貸文迎戰賈顯智，韓賢迎戰元暹。斛斯元壽軍隊投降了竇泰。莫多婁貸文和賈顯智的軍隊在長壽津相遇，賈顯智暗暗派人去約定投降的時間，引軍後退。軍師元玄發覺了，急忙跑回請魏帝增派軍隊。魏帝派遣大都督侯幾紹前去，兩軍在滑台東麵作戰，賈顯智帶著軍隊投降，侯幾紹戰死。
七月，魏帝親率大軍鎮守河橋。高歡也來到黃河北岸，離河隻有十幾裏的地方，他再次派人傳口信，發誓忠誠於帝室。魏帝不回信。高歡便領軍渡過黃河。魏帝向群臣詢問計謀，有的說南去依靠賀拔勝，有的說西行到關中，也有的說緊守洛口死戰，拿不定主意。這時，元斌之和斛斯椿爭權，彼此不和，元斌之扔下斛斯椿自己回兵，欺騙魏帝說，高歡軍隊已經打到了。當天，魏帝退往長安。
二十九日，高歡進入洛陽，停留在永寧寺。八月初四，高歡召集百官，對他們說：“當臣子的侍奉君主，匡救於危亂之時。如果居於職位卻不進諫爭議，出行不陪隨前往，平時爭寵求榮，事急爭相逃竄，臣子的節操何在！”便逮捕了開府儀同三司叱列延慶、兼尚書左仆射辛雄、兼吏部尚書崔孝芬、都官尚書劉廒、兼度支尚書楊機、散騎常侍元士弼，把他們全部殺掉，這是因為他們懷有二心。元士弼全家被籍沒。