前220年，魏將轄區分為13州，州轄郡，郡轄縣。鄭州地區所在的河南郡隸屬於司州。西晉滅亡後，羯人石勒盡陷司、兗、豫三州之地，占據中原。之後200多年間，政權更迭頻繁，戰亂持續不靳。鄭州地區先後為趙、冉魏、前燕、前秦、後秦、北魏、東魏、北齊、北周轄地，地當要衝的滎陽城遭嚴重破壞，日趨凋蔽。北魏統一北方後，置北豫州，州治武牢（今滎陽市汜水鎮），並於公元493年將蒙舊縣城（今惠濟區古滎鎮）遷至大索城（今滎陽市老城）。時北豫州下轄滎陽郡、河南郡、陽城郡等郡。東魏天平元年（534年），在北豫州下置廣武、滎陽、成皋三郡，三郡共轄滎陽、成皋、京等11縣。北周滅北齊後，將北豫州改為滎州，州治成皋。這一時期，管城（今鄭州市管城區）一直隸屬於中牟縣。
隋文帝楊堅於公元581年建立隋朝，結束了長期分裂割據的局麵。開皇三年（583年），隋文帝實行州、縣二級製，並將滎州改名為鄭州，鄭州作為州一級行政區名稱，開始用指於今鄭州地區（公元549年，東魏孝靜帝將穎州改名鄭州，謂最早的鄭州，但州治在潁陰縣（今許昌市魏都區）。開皇十六年（596年），隋改鄭州為管州，州治自成皋移至管城，管城也於是年從中牟分出單獨為縣。因此開皇十六年（596年）可作為以管城為鄭州地區政治中心時期的開始。隋大業二年（606年），管州複稱鄭州。
唐武德四年（621年），李世民進兵據武牢，平王世充，將鄭州一分為二，屬都畿道，將密縣、滎陽等5縣劃歸鄭州，州治武牢。貞觀元年（627年），又廢管州及須水縣，屬縣複入鄭州。貞觀七年（633年）“自武牢移鄭州理所於管城”，此後一直到明初，鄭州治所均設於管城縣。
五代時期，鄭州轄管城、新鄭、滎陽等7縣，後梁時將陽武劃歸開封府，後晉時將中牟劃歸開封府。管城作為鄭州地區的政治中心，至唐代開元年（713-741年）以後，達到了經濟鼎盛時期。
北宋時期，公元960年，北宋朝建立，定都東京開封府，鄭州屬京畿路。皇佑五年（1038年）京畿路所轄的曹州、陳州、許州、鄭州、滑州被定為輔郡。熙寧五年（1072年），宋朝廢鄭州建製，“以管城、新鄭隸開封府，省滎陽、滎澤縣為鎮入管城”。元豐八年（1085年）又複置鄭州，下轄管城、新鄭、滎陽、滎澤、原武5縣。崇寧四年（1105年），改開封府為京畿路，並於京畿四麵置四輔郡，鄭州為西輔，此後，鄭州作為宋代四輔郡之一，處於重要的地位，“西輔”也一度成為鄭州的別稱。靖康二年（1127年），北宋滅亡，金國占據中原，鄭州所轄的新鄭縣被劃入鈞州，孟州汜水縣劃入鄭州，鄭州隸屬南京路。
元初將新鄭縣劃歸鄭州，鄭州屬汴梁路。至元二年（1265年），新鄭、密縣改屬鈞州，滎澤、原武劃歸開封府。鄭州僅領管城、滎陽、汜水、河陰4縣。