胡亥聽到這裏不由得長長地出了口氣，事情解決了，他又可以繼續看歌舞了。於是看了趙高一眼，便說道：“散了吧，散了吧！”
然後，幾乎癱倒的胡亥被答應扶起後，又看了看群臣，喃喃自語道：“散了吧！”
李斯也長長出了口氣，他雖然和章邯交往不多。但是就平常的眼光看來，章邯還是很有才能精幹而思想活躍的官員。古人說：知人者智，自知者明。李斯認為章邯是有自知之明，所以他對他還是有一些信任的。
同時李斯也感到慶幸，幸虧剛才他沒有冒失的建議遷都。
趙高也是持同樣的看法，隻是他不願意說出口而已，太丟臉了！
散朝之後，趙高回到自己華麗的新官邸，一個人在書房裏默不作聲。現在胡亥已經完全的被控製在自己的手掌心裏了，該到了向丞相李斯發難的時候了。搞倒他很容易，不容易的是給他安個什麼樣的罪名，他畢竟是帝國的首相。
趙高盤腿坐在（唐以後，才從胡地引入凳子這一家具，所以很久凳子被稱為“胡床”）榻上，喝著淡酒，思索再三。
於是他命令下人準備牛車，他要去和胡亥見麵，同時還準備一些珍奇好玩的玩意兒給他。
趙高進入到深宮之中，也並不讓誰去通報。直接就進去了。現在禁衛軍和中車府已經內侍們都清一色的是趙高的親信，而且趙高想要胡亥養成這個習慣，就是他，趙高入宮不需要通報。
胡亥接受了趙高的禮物，很隨便的命令趙高坐下。於是兩個人便不再說話，一同看起了歌舞。
這兩個人都顯得興致勃勃，胡亥更是得意忘形，而且在心裏胡亥已經做好了打算，等擊退周文後，一定要去阿房宮好好玩玩。好好地打打獵什麼的，當然那裏的美麗多情的宮女也在等著他。章邯不是答應他，一定要擊退那個周文，不是嗎？
所以胡亥很開心。
倒是趙高有些坐立不安，隻老老實實地看了一陣歌舞。趙高就開始不停地長籲短歎起來。這令胡亥很不開心，但是對於趙高他隻能忍耐。
胡亥並不理會趙高的長籲短歎，隻是看著歌舞。於是趙高不停地長籲短歎，以至於後來胡亥終於忍耐不住。他飲了口淡酒，喝退了歌舞伎，說道：“師傅，你有事要說嗎？”於是趙高便直截了當的說了起來，因為他知道胡亥不喜歡別人跟他賣關子。
他說道：“陛下年富力強，正值鼎盛，但卻未必通曉諸事。如今坐鎮朝廷，不一定每件事都能發放得當。這樣必然讓大臣們心內有所遐思，又不能公示神明於天下。所以陛下不如深居後宮，將政事委托給臣，以及熟悉律法的侍中。就算出錯了，陛下也可以有所追究當事人的責任。而且諸大臣也不會再上奏模棱兩可的奏折，天下也必然稱頌陛下的聖德！”
胡亥聽了很高興，他雖然並沒有完全明白趙高的話。但是兩個意思他是明白了。第一，他可以不用去主持禦前會議，隻須深居後宮就好了。第二，他不用在親自批奏折了，一切由趙高代理。
所以胡亥便不再多想，連聲地說道：“好好好，你去辦理吧！”
就這樣僅僅幾句巧言令色的說辭，趙高就實際上罷免了，或者說從李斯手裏奪走了行政權。而且趙高還將胡亥軟禁起來了，就這樣。