開封地處中華民族的搖籃———黃河流域，在五六千年前，農業和手工業就已相當發展，這個地區曾有相當數量的石鐮、陶器等新石器時代的珍貴文物出土。遠在春秋時期，鄭莊公分封於此，營造城池，取“開拓封疆”之意，而定名為“開封”，這也就是這座古城的名稱的由來。戰國時期，開封屬於魏國，由於魏的舊都安邑（今山西夏縣西北）常受強秦侵擾，魏惠王六年（前365年）便遷都到這裏，當時叫做“大梁”。曆史上孟子見梁（魏）惠王的故事就發生在這個地方。從漢至隋，經過千年經營，開封又逐漸發展，北周（公元557年～581年）時，因為城臨汴水，改名為汴州。隋統一後，隋煬帝為了獲得江淮流域豐富的物產，開鑿運河。唐王朝把這裏作為軍事防守的重點，以確保這交通中樞的安全。
五代時期，後梁朱全忠在開封建都，稱為東都，並升汴州為開封府。此後，後晉、後漢、後周相繼在這裏建都，稱為東京。由於這四個小朝廷在此建都的時間都不長，總共才26年，加上當時戰火不斷，政局不穩，因此，除後周增築外城，初步奠定了開封城市的規模以外，開封的發展並不大。
古代開封的黃金時代是在北宋一朝。公元960年宋太祖趙匡胤建立宋朝，定都開封，改名為汴京，也叫東京開封府。據載，當宋太祖新修京城時，宰相趙普獻上方直形的圖樣，太祖閱後極為不滿，親執禦筆勾劃塗抹，結果照此修築後，城垣曲折，宛如蚯蚓。人們看到這不倫不類的城牆，很不理解，隻覺得難看。宋徽宗時重新修築，一律改為方矩形，非常壯觀。靖康年間金兵南下，在城四隅安炮轟擊，因直的城垣極易命中，京城失守。人們才佩服宋太祖的遠見。
北宋建都開封，曆經九帝，共167年。公元1127年，金兵攻占開封，城市慘遭破壞。汴河漕運中斷，河道逐漸湮塞，依靠交通發達而繁榮起來的開封，便每況愈下。金時仍稱開封為汴京，後又改稱南京並遷都於此。元明清三朝，開封是河南地方中心。但幾經戰火，又加之水患頻仍，這座古城日趨衰落。清亡後，這裏又成了軍閥中原逐鹿的必爭之地。在半殖民地半封建的舊中國，作為省會的開封，景況更為蕭條。
開封市中心，座落著我國古代著名的佛教大寺院相國寺。相傳這裏在戰國時代是魏公子信陵君的故宅，或說是他遊玩的地方。信陵君是魏昭王的兒子，他為人謙和、禮賢下士。當時由於他的賢能和多士，各諸侯國都不敢對魏國輕舉妄動。他竊虎符率兵敗秦救趙的故事，曆來為人所稱道。據載在開封城東南十二裏的楊州門村附近，還有他的墓。因此宋代的相國寺前就修有一座信陵亭，並稱這一帶為信陵坊。
相國寺初名建國寺，創建於北齊宣帝天保六年（公元555年），後為兵火所毀。唐延和元年（公元712年）重修，睿宗夢見佛顯靈，於是親筆題額大相國寺，以後不斷增修，北宋時擁有八個禪院，占地百餘畝，有“大相國寺天下雄”之稱。寺院內藏有大量的藝術珍品，如唐代吳道子的畫像，石抱玉的壁畫等，在唐朝被譽為寺院“十絕”。宋代也有許多優秀的藝術品藏在寺內。但北宋以後，寺院屢遭兵火、水災，屢毀屢修，麵積大大縮小，現僅存的大雄寶殿、二殿、八角琉璃殿、藏經樓等，都是清乾隆時的建築，距今二百多年。而藏在寺院中的大量藝術珍品，經過千年變遷，幾乎蕩然無存。僅存的幾件中最有代表性的是高約二丈，全身貼金的千手千眼觀世音巨雕，存在八角殿中，相傳是以一株大白果樹雕成，精美異常，巧奪天工。