便問左右：“到底是馬、是鹿？”左右侍臣明知是鹿，但內中有一大半人畏懼趙高權勢，便都說：“是馬。”此外少數人欲言是鹿，既恐得罪趙高，欲言是馬，又恐觸怒二世，隻得緘口不言。惟有數人直說：“是鹿。”過了數日，趙高暗令心腹之人，誣奏言鹿者之罪，皆處極刑。自此，一班朝臣及左右近侍，莫不畏懼趙高，從此趙高威震朝廷。
趙高又將蒲葉卷成一束獻於二世，說是“肉脯”。甚至指青色為黑色：指黑色為黃色，終日在二世麵前任意亂道，二世左右人人附和，弄得二世愈加疑惑。便召太卜，令他問卜。太卜早已受了趙高指使，便謊奏道：“陛下當祭祀天地、宗廟、鬼神之時，齋戒未盡潔淨，以致如此。今惟修明齋戒，可以除之。”二世依言，便往上林中僻靜之處齋戒。
二世雖處齋宮，但平日放縱已成習慣，欲其認真齋戒，真屬難事。於是，每日在上林中射獵禽獸為樂。一日，正在射獵之際，忽有一個行人誤入上林之中，被二世看見，親自拈弓搭箭，竟將其人射死。在二世，平日以殺人為兒戲，此事本不稀奇，誰知被趙高聞得，又生一計，密令其女婿鹹陽縣令閻樂，上表舉奏，說是：“不知何人射死了人？竟將屍首移入上林之中。”此奏既上，二世自然說：“此人是自己射殺。”趙高遂故意進諫道：“天子無故殺死無罪之人，此乃上帝所禁，誠恐鬼神不佑，天將降殃，應請暫離宮殿，出居遠處以避之。”先是二世夢見白虎一隻，跳到車前將他左邊駕車之馬齧死，忽然驚醒，以為是個不祥之兆。心中悶悶不樂，立召占夢問之。占夢卜成一卦，說是：徑水為祟。今見趙高又勸其遠出避災，因想起有一座“離宮”，名曰“望夷宮”，乃先帝作之以望北夷者，其地北臨涇水，去此既遠，又可祭祀涇水，遂命移居“望夷宮”，就宮中齋戒，沉白馬四頭於涇水以祭之。
讀者須知，趙高將二世移到遠處，是何意思？原來趙高平日在二世麵前一味迎合，常常說道：“關東群盜，勢無能為，不足憂慮。”誰知自己身為丞相，天下愈亂。項羽既擒王離，章邯屢敗，疊次遣人求救，又遣司馬欣來京，趙高恐二世見責，一概阻壓不奏。及至章邯被迫降楚，項羽勢更大，自函穀關以東皆與之響應。沛公又率兵攻破武關，趙高見敵兵已迫，亂事萬難隱瞞，心恐二世見責，於是稱病不朝。沛公又暗地使人到趙高處，為結內應，趙高許之。乃設法將二世移居上林，又移居“望夷宮”。一則使之居住僻地，消息不靈，容易蒙蔽，且與自己遠離，不致被責；二則遇有事勢緊急，便賣二世以為己功，圖將來之富貴。因為此調虎離山之計，臨時容易下手。
趙高之心事，既如上述。偏是二世也知亂事日急，遣使者責備趙高，令其從速滅除盜賊。趙高被責，懼二世誅之，遂密喚其弟郎中令趙成，女婿鹹陽令閻樂商議道：“主上平日不肯聽諫，如今事急，反欲歸禍於我，事已至此，說不得，隻有迫其自殺，另立他人。”議定，乃遣趙成為內應，詐稱有大賊入宮，使閻樂召發兵卒前往。趙高因事關重大，閻樂雖是自己女婿，恐他此去或有翻悔，反與二世合同謀己，亦未可知。遂率眾先將閻樂之母劫到家中，作為抵押。閻樂見母親被劫，隻得死心塌地，於此弑逆之事。