在赫魯曉夫去世四年後，他的家人才獲得批準，在他的墓地上豎起一塊墓碑。經過了無數次的拖延和推諉後，在此期間各級職能部門從來都沒有說不行，但顯然也害怕說可以，赫魯曉夫的遺孀就打電話給總理阿列克賽·柯西金，終於得到同意立一塊紀念碑。
赫魯曉夫的紀念碑由歐內斯特·內日韋斯特尼設計，這位藝術家在1962年和1963年曾受到赫魯曉夫的批判。這塊紀念碑由相互交錯的白色大理石和黑色花崗岩組成，上麵是赫魯曉夫的頭部銅像，臉上帶著一絲痛苦的表情。銅像很好地總結了赫魯曉夫性格中如此眾多的反差交織在一起的特點：既是個真正的信徒，又是一個冷眼的現實主義者；處事方式既有機會主義的傾向，又堅持原則；既害怕戰爭，同時又傾向於戰爭冒險；在權力和榮耀達到巔峰時能表現出謙遜；參與了很多壞事，但同時也做了不少好事。
在他1971年去世與80年代末改革與公開化到來之間，這個充滿傳奇色彩、自相矛盾與多麵性格的前領導人在蘇聯顯得“微不足道”，他的名字受到了他克裏姆林宮繼承者的壓製，也被大多數蘇聯公民所遺忘。在蘇聯，將名聲不佳的領導人從曆史書中消除的技巧並不是什麼新鮮事，斯大林在這方麵就做得很“出色”，後來就是赫魯曉夫對斯大林本人。此外，勃列日涅夫和他的同事們對他們的這位前掌舵人仍然懷恨在心，盡管他們扭轉了很多他的國內外政策，但不是全部。1984年，在政治局一次討論是否應該重新批準莫洛托夫入黨的會議上，赫魯曉夫仍是他們談論的主題。國防部長德米特裏·烏斯蒂諾夫（Ustinov）認為，他“在處理斯大林的問題上犯下了不可饒恕的錯誤。沒有什麼敵人像赫魯曉夫這樣帶給我們如此巨大的傷害。……”尼古拉·吉洪諾夫（Tikhonov）總理認為：“他玷汙了我們和我們的政策，使我們蒙羞。……”外交部長安德烈·葛羅米柯認為：“他給蘇聯在世界人民眼中的積極形象帶來了無法扭轉的打擊。”
普通公民是沒有機會為赫魯曉夫辯護的，不管是在1964年10月，還是此後，不過也很少有人會有這種想法。很多人的確心懷感激地記起過他的貢獻。就像羅伊·麥德維德耶夫所說的那樣：“在他執政的幾年裏，蘇聯大約有2000萬人被平反，其中很多人是在已經去世之後，單憑這一點就超過了赫魯曉夫所犯的所有錯誤。”不過，還有更多的人將赫魯曉夫的名字與從麵包短缺到國際危機的所有事情聯係了起來，並認為他缺少文化是俄羅斯聲譽的一大汙點，他們樂於看到他被人遺忘。
米哈伊爾·戈爾巴喬夫的看法不一樣。他在赫魯曉夫時代在政治上成熟起來，在回顧那個時代的公開與樂觀主義時帶著一種懷舊的傷感。雖然他在赫魯曉夫的接班人執政期間提升得很快（從1964年省級黨的官員到1980年的中央委員會書記與主席團委員），但他認為“勃列日涅夫主義除了是對赫魯曉夫的改革努力持保守的反對觀點外，什麼都算不上。……”戈爾巴喬夫還說，他自己這一代“認為自己是‘第二十屆黨代會培養出來的’”，並把繼續完成赫魯曉夫已經開創的事業看作是“我們的責任”。
在實行他自己的改革中，戈爾巴喬夫得到了赫魯曉夫經驗的指導。赫魯曉夫沒有走得足夠遠，不管是在分析斯大林主義的根源，還是在對其進行抨擊方麵。戈爾巴喬夫則走得更遠。赫魯曉夫試圖緩和冷戰的努力充滿了矛盾，自身就存在著導致失敗的因素；戈爾巴喬夫會更加堅定，也更令人信服。“組織機構掐斷了赫魯曉夫的脖子，”戈爾巴喬夫在黨的職能部門開始抵製改革時私下警告他的同事們說：“同樣的事情還會再次發生”。他後來回憶說，就是在1987-1988年間，他的“改革受到了第二十屆黨代會命運的同樣威脅”，也就是在這一時期，戈爾巴喬夫開始推行激進的改革計劃。在此之前，他在公開場合一直沒有提及赫魯曉夫的名字。但是在蘇聯革命勝利70周年前夕的一次講話中，戈爾巴喬夫填補了至少幾個他所說的蘇聯曆史中的“空白”，實際上為赫魯曉夫作了政治上的辯解：“在N.S.赫魯曉夫的帶領下，黨和領導人對個人崇拜及其後果進行了批評，恢複了社會主義法治，這是需要極大的勇氣的。”