1934年12月，斯大林借蘇共中央第二號人物基洛夫被殺為由，開始對前反對派成員及其追隨者進行迫害。先後殺害了季諾維也夫、皮達可夫、布哈林、李可夫、圖哈切夫斯基等一大批黨政軍要員，清洗、槍斃了幾十萬幹部，殃及1，500萬無辜群眾，成為人類史上空前的政治災難。
1934年12月1日晚，四十八歲的蘇共中央第二號人物、列寧格勒市委第一書記謝爾蓋·米羅維奇·基洛夫在列寧格勒斯莫爾尼宮大樓中被一槍打死。在事發後的幾天裏，政府發布的聲明斷言殺害基洛夫的凶手是白衛恐怖分子、這些白俄是從波蘭、立陶宛、芬蘭潛入前蘇聯進行恐怖活動的。
在十月革命以後的一段相當長的時間裏，基洛夫在曆次鬥爭中一直支持斯大林及其路線，提高他的威望，同他的對手們作無情的鬥爭。
但支配著斯大林的是一種極其狹隘的殘酷的思想，他迷狂於一種絕對的權力和威望，且早在基洛夫被殺害之前很久，斯大林就使用各種政治詭計和強力手段，使自己擺脫黨員和群眾的監督。基洛夫死後，斯大林立刻掀起了一段大逮捕高潮，並在沒有征求政治局其他成員意見的情況下，下令毫不遲疑地對一大批人執行死刑，盡管絕大部分與基洛夫一案毫無關係。幾天以內被處決的列寧格勒有39人，莫斯科有29人，基輔有28人，明斯克有9人。同時，在列寧格勒還掀起了遷出大批原貴族和他們家屬的運動，而這些人絕大多數並沒有從事任何地下活動和反蘇活動。
1935年5月，斯大林解散了“老布爾什維克協會”（其成員都是老黨員），並著手篡改曆史，虛構傳記。一個月後，斯大林又取締了“政治苦役犯和流放移民協會”。政府還頒布了一項世界文明史上從未有過的法律：十二歲以上的兒童對於所犯的各種罪行、應負與成年人相同的責任（包括死刑）。
在這樣的背景下，斯大林在1936年組織了第一次莫斯科公審，對象是季諾維也夫和加米涅士等十四人。顯然，對前二人進行第二次審判是因為第一次審判對他們判處的幾年刑不能令斯大林滿意。
從1936年夏天開始的接連不斷的清洗給全蘇造成極大的恐慌，被斯大林一手提拔起來的心腹葉若夫在1937年初掀起了被稱為“葉若夫旋風”的更大規模的清洗。而這場旋風迅速導致了第二次莫斯科大審判。
1937年1月20日，前蘇聯所有報紙刊登了總檢察長維辛斯基簽署的公訴書，指控格奧爾基·列奧多維奇·皮達可夫、卡爾·伯恩哈多維奇·拉狄克等十七名托洛茨基分子組織托洛茨基中心，背叛祖國，從事間諜活動，妄圖奪取政權，在前蘇聯複辟資本主義。1937年1月30日，皮達可夫等十三人被判死刑。其餘的四人最後也全部沒能逃脫被處死的命運，這是必然的。
第三次莫斯科大審判於1938年3月開始，出庭的主要被告人雖然在列寧時期紅極一時，但最終的宣判是無情的。
1937年6月，前蘇聯國防部人民委員圖哈切夫斯基元帥和其他七名蘇軍高級將領被逮捕。隨後兩天內，這八人全部被以叛國等罪名槍決。在此後兩個月的1937年8月，斯大林在紅軍政治幹部會議上發表講話，號召在紅軍中“根除敵人”，並稱“紅軍中存在一個分支密布的間諜網”。它掀起一股狂瀾，使軍隊中人人自危，誣告成風。在1937—1938年間上至國防人民委員會，下至各軍區，一大批高、中級軍事、政治幹部被逮捕了，數萬人的肉體遭到消滅。