この年の9月には、陳勝に代わって反乱軍の首領となっていた項梁が、章邯に敗れて戦死している[11]。これに時期を近くして[12]、右丞相の馮去疾・左丞相の李斯・将軍の馮劫は胡亥を諫め、「関東の群盗らは数多く、未だに決起は止むことはありません。これは民が兵役や労役で苦しみ、賦税が大きいからです。しばらく阿房宮の工事を中止して、四方の兵役や輸送の労役を減らしてください」と訴えた。しかし胡亥は「『（古代の聖人である）尭や舜の生活が質素であり、苦役を行った。天子が貴いのは、意のままにふるまい、欲望を極めつくして、法を厳しくすれば、民は罪を犯さず、天下を制御することができる。天子であるにもかかわらず、質素な生活と苦役を行い、民に示した舜や禹は手本にすることはできない』と韓非子は言っている」と反論した上、「朕（胡亥）は帝位につきながら、その実がない。私は（皇帝・天子の）名にふさわしい存在となることを望んでいる。君たちは先帝（始皇帝）の功業が端緒についたことを見ていたであろう。朕が即位して2年の間、群盗は決起し、君たちはこれを治めることができなかった。また、先帝の行おうとしていた事業（阿房宮の工事など）を止めさせようと望んでいる。先帝の報いることもできず、さらに朕にも忠義と力を尽くしていない。どうして、その地位にいることができるのか？」と言って、馮去疾・李斯・馮劫を獄に下して、余罪を調べさせた。馮去疾と馮劫は自殺し、李斯は禁錮させられた。
胡亥は、趙高に、李斯の罪状を糾明して裁判することを命じ、李由の謀反にかかる罪状について、糾問させた。李斯の宗族や賓客は全て捕らえられた。胡亥は使者を派遣して、李斯の罪状を調べさせたところ、李斯は趙高の配下による拷問に耐えられず、罪状を認めてしまった。胡亥は、判決文の上奏を見て、喜んで言った。「趙君（趙高）がいなければ、丞相（李斯）にあざむかれるところであった」。胡亥が取り調べようとしていた三川郡守の李由は、使者が着いた時には、項梁配下であった項羽と劉邦と戦い、戦死した後であった。趙高は李斯の謀反にかかる供述をでっちあげた[11]。
李斯に五刑[13] を加え、咸陽の市場で腰斬するように判決が行われた。李斯の三族も皆殺しとなった[11][14]。
この頃[15]、王離（王翦の子の王賁の子）に命じて、趙を討伐させる。王離は趙歇・張耳らの籠る鉅鹿を包囲した[16]。 二世三年（紀元前207年）、胡亥は李斯に代わって趙高を中丞相に任命し、諸事は大小に関わらず全て趙高が決裁することとなった。この頃、秦の将軍の章邯は、朝廷に背いて王を名乗った趙歇の居城・鉅鹿の包囲に向かっていたが、同年12月、楚軍を率いる項羽が趙を救援し、鉅鹿を囲む秦軍を大破して秦軍の包囲を解いた。魏・趙・斉・燕の諸侯の軍は項羽に属することになった（鉅鹿の戦い）。翌年1月には楚軍の項羽率いる諸侯連合軍により、秦の将軍で王翦（始皇帝の中華統一に貢献し、項羽の祖父の項燕を戦死させた）の孫の王離が捕らえられ、さらに同年3月には同じく楚軍の劉邦が秦将の趙賁・楊熊らを破った。楊熊は?陽へ敗走したが、胡亥は使者を派遣し、楊熊を処刑して見せしめとした[17]。 同年4月、項羽率いる楚軍は章邯を攻め、章邯はしばしば退却を取ったため、胡亥は使者を派遣して章邯を叱責した。章邯は副将の司馬欣を首都咸陽に派遣して援軍を要請しようとしたが、司馬欣は趙高に捕縛され処刑されそうになったため、司馬欣は咸陽から逃げ出した。そのため最終的に、章邯は司馬欣の勧めもあって楚軍に降伏し、項羽によって章邯は雍王に封じられた（鉅鹿の戦い）。 この頃から、趙高は胡亥の弑殺を企むようになり、その前段階として群臣たちの思惑を問い質そうとした。そこで趙高は鹿を用意し、「馬です」と称して胡亥に献上した。胡亥は「鹿の事を馬だと言うとは、丞相は何を間違えたのだ」と笑って答えたが、胡亥が左右の群臣たちに問うと、ある者は沈黙し、ある者は趙高に阿り従って「馬です」と言い、ある者はその通りに「鹿です」と言った。趙高は「鹿です」と答えた諸々の者たちを、密かに処罰したとされる。これが、いわゆる「指鹿為馬
鹿を謂いて馬となす
望夷宮の変とその後詳細は「望夷宮の変」を参照
この頃胡亥は、1匹の白虎が自分の馬車を轢く左の馬を食い殺してしまう、という夢を見て不安を感じ、夢占いの博士と相談した後に、咸陽宮から涇水周辺にある望夷宮へと移った。その後も趙高による謀反の計画は進行し、そしてついに同年の某日、趙高の娘婿の閻楽が「宮中に賊が入った」と称して兵士たちを率いて宮中に押し入り、胡亥の寝所にまで押し寄せ、胡亥の罪状を数え上げて「あなたは無道な君主であり、天下の者は皆あなたに背いている。あなたは自裁するべきである」と言い渡した。
胡亥は「丞相（趙高）に会うことはできないのか」と尋ねたものの聞き入れられず、さらに「（位を退くから、せめて）郡王にしてくれないか」と求めたが、閻楽は同意しなかった。胡亥はなおも「（それならさらにせめて）万戸侯にしてくれないか」と臨んだが、閻楽はこれにも同意しなかった。そして最後に胡亥は、「妻子ともども、平民百姓としてでも良いから生かしてほしい」と懇願した。しかし閻楽は「私は丞相の命を受け、天下の百姓に代わってあなたを死刑に処す。あなたは多くを話したが、敢えて丞相に報告することはない」と語った。胡亥は生き延びられない事を知り、自害させられた。これが『史記』始皇本紀に記された、胡亥の死の顛末である（望夷宮の変）。
また『史記』李斯列伝に記述された異説として、上述の「指鹿為馬」の事件の後に、胡亥は自分の気がおかしくなったのではないかと考え、占い師と相談した上で上林苑（皇帝の苑）に入って毎日遊びや狩りに熱中しており、ある時上林苑の中に立ち入った者があったため、胡亥は自らその者を射殺した[4]。趙高は胡亥を諫めて「天子が理由もないのに、無辜の人を殺したとは、上帝（天帝）が禁じていることです。祖霊も祀りをうけいれず、天はいまにも（胡亥に）災いをくだすでしょう。遠く咸陽宮を避けて、御払いをなさるべきです」と告げたため、胡亥は皇居から出て、望夷宮へと移ったという経緯であったとされる[4]。そしてその3日後に、趙高は服喪である白い衣を着せてた衛士を率いて望夷宮に入り、胡亥に「山東の群盗の兵が大勢来ました！」と告げた。