相傳，南宋寶枯六年至開慶元年（１２５８～１２５９年），賈似道在揚州任職，在迷樓原址建摘星寺，又稱摘星樓，明代改稱為“鑒樓”，取前車之覆，後車之鑒之意。
由此，許多學者都認為迷樓位於揚州是含無疑問的。
據清代嘉慶《重修揚州府誌》載：“摘星樓在城西七裏觀音閣之東阜，即迷樓故址。”但是乾隆年間的《甘泉縣誌》卻提出另一種說法，稱觀音山寺“即古摘星亭址，俗傳為隋迷樓故址者訛也”。這兩處史料中對於迷樓的記載相左，因此有人對隋煬帝是否在揚州建過迷樓表示懷疑。
晚唐時韓偓在《迷樓記》中繪聲繪色地描繪了迷樓當年的壯觀景象以及後來的敗落，但考察通篇文字，並未提及揚州。“唐帝提兵，號令人京，見迷樓，太宗曰：‘此皆民膏血所為。’乃命焚之。”由此我們可以看出，隋煬帝的迷樓應在長安，在唐太宗率兵進入長安後被焚毀。
然而，大名鼎鼎的迷樓到底是建在哪裏呢？是在揚州，還是在長安，還是在兩地皆有修建，抑或在其它地方，至今仍無定論。
［相關鏈接］隋唐名臣顏師古
顏師古（５８１～６４５），字籀，京兆萬年（今陝西西安市）人，是唐代著名的經學家、語言文字學家、曆史學家。祖父是名儒顏之推，父親是顏思魯。他自幼博覽群書，學問通博，尤擅於文字訓詁、聲韻、校勘之學。他對《漢書》還頗有研究，在兩漢以來的經學史也有很深的造詣。隋文帝仁壽年間，由尚書左丞李綱舉薦，他曾任安養縣（今湖北襄樊）尉，政績頗為突出。後因坐事免職，生活貧困，以教授為業。隋大業十三年（６１７年），李淵起兵入關。顏師古被授予朝散大夫之職。唐武德元年（６１８年），李淵建立唐王朝，拜顏師古為敦煌公府文學，轉起居舍人，再遷中書舍人。他不僅政績突出，而且擅長文辭，其文名冠當時。唐武德九年（６２６年），李世民即位，顏師古被擢為中書侍郎，封琅琊縣男。貞觀四年（６３０），“以經籍去聖久遠，文字多訛謬，詔前中書侍郎顏師古考定《五經》”。顏師古利用“秘書省”珍藏的大量經籍圖書，曆時兩年，選校了《周易》、《尚書》、《毛詩》、《禮記》、《左傳》等書，是為“五經定本”，並呈獻給唐太宗。太宗大為滿意，“稱善者久之”。後又奉太子承乾之命注《漢書》，書成後進秘書監，以文學入選崇賢、弘文兩館學士。《漢書注》是顏師古晚年力作，深為曆代學者所重，時有“杜征南（杜預）、顏秘書（顏師古）為左丘明、班孟堅忠臣”之美譽。貞觀十九年（６４５年），他隨太宗東征遼東，在途中病故，終年６５歲，諡曰“戴”。