我們知道《朝野遺記》曾編造出“秦檜矯詔害嶽飛”之故事。而上述隗順的故事似乎還是有一定的可信度。明萬曆十年刊本《湯陰精忠廟誌》、嘉靖年間刻本《西湖遊覽誌》、清康熙時編的《錢塘縣誌》等，均采用此說。有的學者還猜測，如上述故事可信的話，從上述整個墓葬活動來分析，要將嶽飛屍體偷偷運出監獄，並翻越城牆，然後入棺葬在寶石山之水邊，似非隻身單人所易做到。也許同“隗順”一起機智勇敢地保護嶽飛遺體的，還有其他人，《朝野遺記》所載之“隗順”，隻是他們中的一個代表，或許是他們一夥人的代稱。可以說，這也可算嶽飛初葬時的一謎。
然而，《寶慶四明誌》載，嶽飛“死於棘寺，槁葬牆角”。是說嶽飛死後，用草墊之類包裹，葬於大理寺的牆角。《三朝北盟會編》卻說：“侯中毒而死，葬於臨安菜園內。”民間還有另一個傳說，以為嶽飛曾被葬於杭州的眾安橋下。李漢魂《宋嶽武穆公飛年譜·遺跡考》中記：“今杭州市眾安橋河下十七號忠顯廟，其地南宋為北郭叢葬之所，傳即嶽王初瘞處。”清朝許多學者如胡興仁、沈祖懋、楊昌浚等，都同意此說。到道光十三年（1833），杭州府司獄吳廷康正式確認此地為嶽飛初葬地，並籌集資金，營建嶽飛墓、嶽飛廟，刊刻《嶽忠武王初瘞誌》，一時影響頗大。一些現代學者認為，南宋時臨安的眾安橋，位於錢塘門內，也就是在城內，是臨安城中的商業繁華地段，如橋南還有“北瓦子”等娛樂場所，又緊靠禦街的必經之地，怎麼會成為北郭叢葬之所呢？
紹興三十二年（1162），宋孝宗繼位。他十五歲時目睹了嶽飛案的處置過程，知曉嶽飛之深冤和民心之不平，為了穩定自己的統治，表明自己的抗金態度，即位不久，便接受了太學生程宏圖“昭雪嶽飛之罪”的上奏。七月，迅速頒布了“追複指揮”，即追複嶽飛官位之命令，為其平反，恢複名譽。此時趙構剛剛禪位給孝宗，稱“太上皇”，而為嶽飛昭雪，決非趙構所願，所以孝宗這樣做是需要勇氣的。當然在《追複指揮》中，不但隻字未及“冤案”，還要裝著是仰承“太上皇”的聖意，以給足趙構以麵子。
皇帝《追複指揮》決定，要對嶽飛“以禮改葬”，就是要以一品官位的禮儀改葬，所以朝廷貼出懸賞尋找嶽飛遺體的告示。據《朝野遺記》載，隗順臨死時將葬地詳細情況告訴兒子，並囑咐說：“朝廷日後必會懸賞求找嶽飛的遺體，可以這樣告訴官府，該棺木旁係一鉛筒，上有大理寺的勒字，便是嶽飛埋殯之符。”隗順的後代便將九曲叢祠旁的嶽飛初瘞地報告了官府，當官府找到嶽飛的葬地，打開棺木時，發現“屍色如生，尚可更斂禮服”。於是，以少保之禮重新安葬。嶽飛之子嶽霖等人在淳熙六年（1179）所上的《賜諡謝表》中有：“葬以孤儀，起枯骨於九泉之下”的話。中國古代稱少師、少傅、少保為“三孤”，所以稱“葬以孤儀”，可見以少保之禮改葬應沒問題。但《朝野遺記》中“屍色如生”的記載肯定有問題，一是嶽飛遇害已二十一年，當時草草下葬，且葬在“北山之水邊”，應相當潮濕之地，怎麼可能還“屍色如生”呢？二是嶽飛的後代們都說是“起枯骨於九泉之下”，如當時“屍色如生”，後輩們決不會如此用語。可見《朝野遺記》中的描述，有多少是確鑿可信的？多少是誇大其詞的？多少又是杜撰編造的？也讓人摸不著頭腦。
最後，嶽飛的改葬地是否即在今天棲霞嶺的嶽墓所在地？大多數學者持同意的觀點。《夢梁錄》卷十五載：“忠武嶽鄂王墓，在棲霞嶺下。”《武林舊事》卷五也載：“棲霞嶺口，古劍關，嶽王墓。嶽武穆王飛所葬，其子雲亦附焉。”棲霞嶺嶽墓改葬時的確頗為隆重，其墓道兩邊立有石人、石馬，並將邊上的智果觀音院改為“褒忠衍福院”，以充嶽鄂王香火，還存列著嶽雲所用鐵槍。後屢經修建、改建，如明朝重建嶽王廟，變動較大。最近一次修複，發現墓道兩側埋有石人、石馬，估計是兩宋改葬時的遺物。
可見，嶽飛遺體的初葬地還有頗多疑點，改葬地在棲霞嶺應該問題不大，不過也還是有人提出一些懷疑，致使有關嶽飛墓的真偽，目前仍有爭議。