高歡以國家大事不可曠廢，便和百官們商議，由清河王亶任大司馬，居於尚書下舍代理皇帝處置各種要事。以王的封號而出警入蹕，高歡感到很丟臉。高歡隨即到達弘農，進而西克潼關，活捉了毛洪賓；又進軍長城，龍門都督薛禮出降。高歡退居河東，命令行台尚書長史薛瑜鎮守潼關；大都督厙狄溫鎮守封陵；在蒲津西岸築城防守華州，任命薛紹宗為華州刺史；高昂行豫州事。高歡從晉陽發兵至這裏，共寫了四十封信，魏帝全都不回信。
九月初十，高歡回到洛陽，便派僧人道榮送奏表前往關中，魏帝又不回答。他便召集文武百官、僧人、德高望重的老年人，商議推薦人選再立皇帝。大家認為，自從孝明帝孝昌年間以來，朝廷衰弱遭亂，國統中斷，神主也不知所依，昭穆排列失去次序，永安時以孝文帝為伯考，而永熙時又把孝明帝遷到夾室去，帝業淪喪，在位時短，由此而導致的。於是商議立清河王的世子元善為帝。議定之後，告訴了清河王。清河王說：“天子是沒有父親的，如果讓小兒立為帝，我將不惜自己的餘生。”於是便立了善見，這就是孝靜帝。魏於是開始分為兩國。
高歡因為孝武帝在西麵，恐怕會進逼崤關陝州，洛陽又在黃河以南，接近梁朝的轄境，如果遷到晉陽，也勢必難以聯係全國。因而依照原來的想法，遷往都城。護軍祖瑩也讚同這一計劃，下詔三天之後，車駕便向東出發，四十萬戶人家，狼狽不堪地走上東道。高歡留在洛陽部署，等事情辦完後回晉陽。從此以後，軍國大事，都歸相府處置。起初有童謠唱道：“可憐青雀子，飛來鄴城裏。羽翮垂欲成，化作鸚鵡子。”那些好事者私下說，雀子說的是清河王的兒子，鸚鵡是指神武帝高歡。
初起時，在孝昌年間，山胡人劉蠡升自稱皇帝，年號為神嘉，住在雲陽穀，西部邊境每年受到侵掠，稱之為胡荒。
二年（535）正月，西魏渭州刺史可朱渾道元帶著部眾前來歸順，高歡接納了他們。十五日，高歡襲擊劉蠡升，大敗該部。二十二日，孝靜帝下詔嘉獎，任命高歡為相國、假黃鉞，劍履上殿，入朝不趨行。高歡堅決辭讓。
三月，高歡說要把女兒嫁給劉蠡升的太子，讓他們放鬆戒備。十五日，偷偷派出部隊攻打。山胡的北部王斬劉蠡升的首級送來，其餘部又立他的兒子南海王為帝。高歡大舉進攻，活捉了南海王和他的弟弟西海王、北海王、皇後及公卿以下四百多人，山胡、魏人五萬戶。二十六日，高歡到鄴城朝見皇帝。
四月，高歡請求供給遷入的人口糧食，數量不等。
九月十一日，高歡因為州、郡、縣的官員大多違背法令，請求朝廷派使者訪問民間疾苦。
三年（536）正月二十三日，高歡帶著厙狄幹等一萬騎兵偷襲西魏夏州。他帶頭吃涼食，四天到達夏州，他們把槊捆綁起來作為攻城的梯子，夜間進入城內，活捉了夏州刺史費也頭斛拔俄彌突，仍然留用他當刺史，留下都督張瓊鎮守夏州，遷移該部落五千戶人回東魏。西魏的靈州刺史曹泥和他的女婿涼州刺史劉豐派使者來表示歸順東魏。宇文泰圍困曹泥，引水灌城，沒有被淹沒的地方隻有四尺高。高歡又命令阿至羅發騎兵三萬，直出靈州，繞道到西魏軍隊後麵攻擊，繳獲戰馬五十匹，西魏軍隊才退走。高歡帶領騎兵迎接曹泥和劉豐，他們帶著遺留下來的五千戶歸內地，東魏恢複了曹泥的官職和爵位。魏帝下詔加賜高歡九錫，高歡堅決辭謝，因而停止。
二月，高歡命令阿至羅進攻西魏秦州刺史建忠王萬俟普撥，他自己帶領大軍應接。六月二十五日，萬俟普撥跟他的兒子太宰受洛幹、豳州刺史叱幹寶樂、右衛將軍破六韓常以及督將三百多人，率領部眾前來歸降。
八月十九日，高歡請求統一鬥尺的規格，頒布於天下。
九月十三日，汾州胡人王迢觸、曹貳龍聚眾謀反，封文武官員，建年號平都，高歡討平了他們。
十二月十一日，高歡從晉陽西征，派兼仆射行台、汝陽王元暹、司徒高昂等前往上洛，大都督竇泰從潼關進兵。
四年（537）正月十七，竇泰兵敗自殺。高歡軍隊到達蒲澤，由於冰層薄而無法前去救援，便回師。高昂攻克上洛。
二月二十日，高歡因並、肆、汾、建、晉、東雍、南汾、秦、陝九州發生霜旱災害，民眾饑荒而流離失所，請各地開倉賑濟。
六月初八，高歡到達天池，得到一塊有祥瑞的石頭，上麵隱現出文字“六王三川”。
十月初一，高歡西征，從蒲津渡河，領軍隊二十萬人。宇文泰把軍隊陳列在沙苑。高歡因地方狹小而稍微後退，西魏軍隊大聲鼓噪進逼，東魏軍大亂，丟棄的武器甲胄十八萬件，高歡騎著駱駝，坐船回歸。
元象元年（538）三月初三，高歡堅決要求免去丞相職務，魏帝應許了他。
四月初二，高歡到鄴城朝見。初四，回到晉陽，請求放開酒的禁令，並賑恤宿衛武官。
七月二十五日，行台侯景、司徒高昂在金墉城圍困西魏將軍獨孤信，西魏皇帝和宇文泰一起前來救援。大都督厙狄幹帶領眾將為先驅，高歡統帥大軍後繼前進。
八月初四，在河陰交戰，大敗西魏軍隊，俘虜了幾萬人。司徒高昂、大都督李猛、宋顯死去。西魏軍隊失敗以後，獨孤信首先進關，宇文泰留下都督長孫子彥鎮守金墉城，於是燒掉營房逃跑。高歡派兵追趕至崤關，未能追上而回。起先，高歡知道西魏軍隊入侵，便從晉陽帶領軍隊飛奔前來，到孟津時，軍隊還未渡河，兩軍交戰，互有勝負。接著高歡渡過黃河，長孫子彥也棄城逃跑。高歡便燒掉金墉城而後回兵。
十一月十五日，高歡到京城朝見皇帝。十二月十日，回歸晉陽。
興和元年（539）七月二十六日，魏帝晉封高歡為相國、錄尚書事，高歡堅決推辭，於是停止。
十一月十六日，高歡因新宮殿建成，到鄴城朝見。魏帝和高歡宴飲行令。高歡降階以祝賀。高歡請求辭去勃海王及都督中外諸軍事，魏帝下詔不允許。十二月十九日，高歡回晉陽。
二年（54O）十二月，阿至羅的別部派使者請求歸降，高歡率領軍隊迎接，出武州塞外，不見蹤影，便大舉圍獵後回軍。
三年（541）五月，高歡巡視北方邊境，派使者和蠕蠕通和。
四年（542）五月十六日，高歡到鄴都朝見，他請求魏帝傳令百官，每月當麵陳奏政事；公開不足之處，納諫去邪，親自審理案件，表揚勤政，廢黜懈怠；各地方長官有過失，所轄各級連坐；宮廷之內，進出有序；後園豢養的鷹犬，全部放棄。六月初十，高歡回到晉陽。
九月，高歡西征。十月初六，在玉壁城圍困了西魏的儀同三司王思政，想引西魏出兵。西魏不敢出兵。十一月二十一日，高歡因天降大雪，士兵很多人死去，便回師。
武定三年（543）二月十二日，北豫州刺史高慎占據武牢關叛降西魏。三月初二，宇文泰率軍隊救援高慎，圍住河橋南城。十六日，高歡大敗西魏軍於芒山，活捉西魏督將以下官員四百多人，俘虜和斬首的有六萬多人。當時，高歡部下軍士有偷殺驢的，按照軍法應當處死，高歡不殺他，準備帶回並州以後處決。第二天，兩軍又開戰，那個偷殺驢的人投降西魏，告訴了高歡的地方，西魏便集中精銳部隊大舉進攻。高歡軍隊潰散，高歡也失去戰馬。赫連陽順下了馬，把它交給高歡騎，他跟仆從馮文洛把高歡扶上馬後，一起步行。跟隨高歡的隻有步騎兵六七人。西魏追兵趕到了，親信都督尉興慶說：“大王快走，興慶腰間還有百支箭，足以殺死百人。”高歡勉勵他說：“事成之後，任命你當懷州刺史，如果戰死，就任命你的兒子。”尉興慶說：“我兒子還小，請用我的哥哥。”高歡答應了。尉興慶和敵軍對戰，箭射完後死去。西魏太師賀拔勝帶著十三騎追趕高歡，河州刺史劉洪徽射中了其中的兩個人。賀拔勝的槊將要刺中高歡，段孝先從側麵射死了賀拔勝的戰馬，高歡幸免於難。豫、洛二州討平之後，高歡派劉豐追擊擴大地盤，追到恒農以後才回軍。
七月，高歡去信給宇文泰，責備他殺害了孝武帝的罪狀。
八月十四日，魏帝下詔任命高歡為相國、錄尚書事、大行台，其餘職務如故。高歡堅決辭去而止。當月，高歡命令在肆州的北山建城，西起馬陵戍，東至土瞪，四十天停工。
十二月二十三日，高歡到京城朝見。二十四日，回晉陽。
二年（544）三月初九，高歡巡行冀、定兩州，因便到京都朝見。因冬春大旱，請求魏帝免去各縣交糧的任務，賑濟窮困的民眾，赦免死罪以下的囚犯。又請授給老人朝笏和職銜，高低不等。四月初二，高歡回晉陽。
十一月，高歡討伐山胡，擊敗和討平了他們，俘虜了一萬多戶人，把他們分配到各州。
三年（545）正月十五日，開府儀同三司爾朱文暢、開府司馬任胄、都督鄭仲禮、中府主簿李世林、前開府參軍房子遠等人陰謀刺殺高歡，他們趁十五日晚打火把的機會帶著利刃進宮。同黨人薛季孝把這個陰謀報告了高歡，他們全部被殺。二十八日，高歡請求在並州建晉陽宮，以處置配給各關口事宜。
三月十六日，高歡到鄴城朝見。二十七日，回晉陽。
十月二十二日，高歡上奏說，幽、安、定三州北接庫莫奚和蠕蠕，請在各險要地方設立城戍加以防備。他親自前往觀察，無不做到嚴實堅固。閏十月二十日，高歡請求釋放在芒山俘虜來的兵士。打開鐐銬，把民間的寡婦給他們當配偶。
四年（546）八月二十三日，高歡準備西征，從鄴城召集軍隊到晉陽會合。殿中將軍曹魏祖說：“不行，今年八月以西方為王氣，我們以死氣對敵生氣，對進攻者不利，如果我們是主方還是可以的。大軍如果一定要出征，必定損傷大將。”高歡不願聽從。自從東西魏交戰以來，鄴城往往先有黃黑蟻群對打。會占卜的人認為黃的是東魏軍服的顏色，黑的是西魏軍服的顏色，人們便以此來揣測兩軍作戰的勝負。當時，黃蟻全部被黑蟻殺死。
九月，高歡圍住玉壁城向西魏軍隊挑戰，西魏不敢應戰。西魏晉州刺史韋孝寬堅守不出。城裏時常露出遮住鐵片的麵孔，高歡讓元盜射箭，每次都射中眼睛。他采用李業興的孤立和使之內虛的戰術，把軍隊集中在城北，北麵是天險要地。於是在城外築起土山，鑿了十條地道，又在東麵鑿二十一條地道來攻城。城內沒有水，到汾河汲水。高歡讓汾河改道，一夜而成。韋孝寬奪占了土山。高歡屯兵城外五十天，城沒能攻下，戰死的有七萬人，把他們集中埋葬成一座大墓。有流星墜入高歡的軍營，群驢都嘶叫起來，士兵們都被震聾了，十分恐懼。高歡於是患病。
十一月初一，高歡帶病回師。十一日，派太原公高洋鎮守鄴城。十二日，召世子高澄到晉陽。有惡鳥聚集在亭子的樹上，世子讓斛律光把鳥射死了。十二月十一日，高歡因為出師無功，上表請求免去都督中外諸軍事，魏帝下優詔允許了。當時，西魏傳言高歡中了箭，高歡聽說以後，便勉強坐起來會見各顯貴要人。他讓斛律金唱敕勒歌，高歡自己親和，歌聲淒切感人不覺淚下。
侯景一向輕視高歡的世子，曾經對司馬子如說：“高王在，我不能有異心；高王沒有了，我不敢跟鮮卑小兒共事。”司馬子如掩住他的嘴。這時，世子代高歡寫信，召侯景。侯景事先曾經跟高歡約定，收到信時，信背麵有小點，就來。可是信到以後，沒有點，侯景不肯來。他又聽說高歡病了，便擁兵自保。高歡對世子說：“我雖然有病，但你的臉上還有另外憂愁的顏色，是什麼原因？”世子沒有回答。高歡又問：“莫非是憂慮侯景將叛變？”回答說：“是的。”高歡說：“侯景專管河南已有十四年了，時常有飛揚跋扈的樣子，隻有我還能調教他，怎麼能聽你的駕馭呢？如今四方未定，不要急於發布喪亡的消息。厙狄幹鮮卑老公、斛律金敕勒老公，都秉性直樸，終不會有負於你。可朱渾道元、劉豐生從很遠的地方跑來投奔我，必然不會有異心。賀拔焉過兒樸實沒有什麼過錯，潘相樂原來是道人，心地寬和厚道，你們兄弟必定得到他盡力相助。韓軌年輕耿直，應當對他寬和，借用他的力量。彭相樂難以揣測他的心思，應當加以防護。略微能夠和侯景對抗的，隻有慕容紹宗，我故意不讓他身居顯貴，是想留下來給你們用，應當對他特別禮遇，委任他經略國家大事。”
五年（547）正月初一，日食。高歡說：“日食是因為我的緣故嗎？雖然死了又有什麼可恨的！”初八，送奏書給魏帝。當天，死於晉陽，當年五十二歲。秘密不對外發喪。六月十七日，魏帝在東堂舉哀三天，以緦麻服為他治喪。下詔喪禮依照漢朝大將軍霍光、東平王蒼的舊例，贈封假黃鉞、使持節、相國、都督中外諸軍事、贈齊王的玉印、帝王所用的？車、黃屋左螓、前後羽葆鼓吹、輕車介士、兼備九錫的特殊禮遇，諡為獻武王。八月二十日，埋葬在鄴城西北漳水的西邊，魏帝親自送到紫陌。天保初年（55O），追封為獻武帝，廟號“太祖”，陵稱號為“義平”。天統元年（565），改諡為“神武皇帝”，廟號高祖。
高歡生性高深莫測，整天很嚴肅的樣子，難以知道他的心思，機謀權變之時，變化如神。至於軍國大事謀略，獨自在心中作出決斷，文武官員很少有人參預。他掌管軍隊，法令嚴明，臨陣克敵製勝，策略變化多端。聽訟斷獄，明察秋毫，難以受騙。知人好士，全力愛護功臣舊交。思慮周到而敏捷，每當涉及禮樂法度、文章教化方麵事情，他總是很熱情誠懇加以安排。談論事情以及表達內心感情，不愛用華文麗藻。選拔人才授予職務，全根據其才幹，隻要能夠勝任，甚至能夠從地位低賤的廝養戶中選拔。那些徒有虛名而無實際才能的，很少被任用。眾將出征，實行他的作戰方案策略，無不克敵製勝。違背他所製定的計劃的，大多敗亡。性愛儉樸，所用的刀劍、坐騎的鞍勒，沒有以金玉裝飾的。年輕時很能喝酒，可是自從擔當重任以後，最多不過喝三杯。在家時也如同在官府裏一樣。仁慈寬恕愛惜士人。原來範陽的盧景裕以善於釋經義著稱，魯郡人韓毅因書法超群而有名，他們都以陰謀叛亂罪而被捕，但都得到恩赦並讓他們到府中的學館，教育高歡的幾個兒子。所有文武官員，因忠於原來的主人而被抓獲的，許多人都不問罪，所以遠近人士歸附，都願為他效力。至於南麵和梁國交和，北部關心蠕蠕，吐穀渾、阿至羅都被他所招降，得到了他們的大力援助，可見他的謀略確實遠大啊！