仁壽四年(604)七月,隋文帝逝世,其子隋煬帝繼位。術士章仇太翼對煬帝說:“陛下是木命,國都長安(今陝西省西安市)地處雍州,是屬於金的西部地區的要衝,金克木,不利,不可久居。民間流傳著‘修治洛陽還晉家’的讖語,陛下以前是晉王,正好應驗。”煬帝認為很有道理,便在十一月巡幸洛陽,下詔營建東京。然而這道詔令卻披露了這樣的情況:早在二十多年前,文帝剛剛建立隋朝,就萌動過創建東京的意圖,隻是由於條件限製,及身未能付諸實踐。那麼,煬帝營建東京,實際上不過是在完成先父的遺願。
文帝楊堅祖籍弘農郡華陰縣(今陝西省華陰縣),漢族,祖上幾代自北魏時起擔任過地方或中央的軍政職務。北魏分裂為東魏、西魏,又嬗變為北齊、北周,分別以鄴城(今河北省臨漳縣)和長安為都城,在北方處於東西對峙狀態,與南朝並存。北周建德六年(577),周武帝滅掉北齊,統一了北方。楊堅時任大將軍,率軍作戰,立有軍功。第二年,武帝逝世,周宣帝繼位。為了加強對新征服區的控製,大成元年(579),宣帝巡幸洛陽,下詔以洛陽為東京,設置六府官,征發關東諸州兵士修治洛陽宮。以前被北齊遷至鄴城的熹平石經和三體石經,這時由北周重新運回洛陽。宣帝還詔令河陽、幽州、相州、豫州、亳州、青州、徐州七總管,一律接受東京六府的管轄。
大象二年(580)五月,宣帝死。周靜帝隻有八歲,不能親理政事。楊堅作為宣帝的嶽父,被拜為左大丞相,假黃鉞,統領百官,處理朝政。國喪期間,大赦天下,洛陽宮的修建活動停了下來。不久,相州(治所在今河北省臨漳縣)總管尉遲迥為防止楊堅篡奪北周政權,發動了武裝鬥爭,山東、湖北起而響應。在鎮壓叛亂的過程中,楊堅以長子楊勇為洛州總管、東京小塚宰,統領北齊故地。
開皇元年(581),隋文帝終於建隋代周。他作為關隴軍事貴族的代表,依然把都城設置在關中地區。長安故城自西漢建都以來,已經經曆八百年,屢經戰亂,破壞很大,而且規模狹小,井水鹹澀,不宜居住。文帝於是在其東南修建了新都大興城,仍稱長安。楊勇被立為太子,召回京師,鎮守洛陽的任務由楊勇的嶽父少塚宰元孝矩替代。東京官因而廢除,依然稱為洛陽,降為一般性城市。
開皇二年(582),文帝總結出北周同姓諸王微弱而亡國的曆史教訓,決定由自己的幾個兒子分別據守各地區的重鎮,代表中央在當地行使統治。於是,他在洛陽設置河南道行台,以第三子秦王楊俊為該行台尚書令兼洛州刺史,統領關東兵;次子晉王楊廣為河北道行台(治並州,今山西省太原市)尚書令;四子蜀王楊秀為西南道行台(治益州,今四川省成都市)尚書令。這幾個王都還是十餘歲的少年,不足以分臨方麵,文帝因而選拔一些精明能幹的官員充當他們的僚佐。這幾個地點中,洛陽由於其重要的地理位置和傳統的都城地位,所受到的重視程度遠在其餘幾處之上。開皇四年(584),關中遭災,文帝來洛陽,度過了青黃不接的冬春兩季。開皇六年(586),他派太子楊勇鎮守洛陽,把楊俊換到山南道行台(治襄州,今湖北省襄樊市)任尚書令,後來又把楊廣調到淮南行台(治壽春,今安徽省壽縣)任尚書令。這樣部署,目的在於平定江南,統一中國,因而開皇九年(589)滅陳後,楊廣撤回,淮南行台予以廢除。
開皇十四年(594)關中大旱,文帝率領百官和民眾又來洛陽就食。文帝北登邙山,陳朝亡國君主陳叔寶偕從侍宴。酒酣耳熱之際,陳叔寶眺望四周,賦詩歌頌道:“日月光天德,山河壯帝居。”