フリックと親衛隊からの圧力が強まる中の1934年4月20日、ゲーリングは、ゲシュタポ長官代理とゲシュタポ統監にハインリヒ・ヒムラーを任じた[21]。これをもって実質的なゲシュタポの指揮権をヒムラーに引き渡すこととなった。ゲーリングは1935年11月20日までゲシュタポ長官の座にとどまったが、形式的な存在であった[29] さらにディールスはライン県知事に転出となり、4月22日、ラインハルト・ハイドリヒがゲシュタポ局長となった[21]。

ゲーリングがゲシュタポ指揮権をヒムラーに譲った理由は諸説あり定かではない。緻密さが要求される警察業務に飽きてしまったとも、自らの名声を秘密警察業務で汚したくなかったともいわれる。ゲーリングのライバルであるエルンスト・レーム以下突撃隊の隊員たちが「第二革命」を唱えて暴走し始めていたので彼らとの対決のために親衛隊と手打ちする必要があったのではないかともいわれる[15][30]。

ヒムラーはゲシュタポの実質的な運営をハイドリヒにゆだねた[31][32]。ヒムラーとハイドリヒはバイエルン州ミュンヘンからベルリンのプリンツ・アルプレヒト街のゲシュタポ本部へ移動することとなった[33]。

1934年6月末の長いナイフの夜の突撃隊幹部の粛清ではハインリヒ・ヒムラーとラインハルト・ハイドリヒが主導的役割を果たしたため、ハイドリヒの指揮下にあるもう一つの組織SDとともにゲシュタポは一連の粛清に深く関与することとなった。ゲシュタポは粛清リストを作成し、さらにその実行である暗殺や処刑にも参加した[34]。ゲシュタポのコマンドはエーリヒ・クラウゼナーを運輸省内で殺害し、前首相クルト・フォン・シュライヒャー大将とフェルディナント・フォン・ブレドウ少将を殺害した[35]。

ハイドリヒは、有能な人材をゲシュタポにかき集めることから始めた。まずバイエルン州警察時代の部下たち、ハインリヒ・ミュラー、フランツ・ヨーゼフ・フーバー、ヨーゼフ・マイジンガーらをベルリンのゲシュタポへ招集した。さらにベルリンの警察にも目を付け、ベルリンの刑事警察官アルトゥール・ネーベを取りたてた。またハイドリヒはドイツ各地から法律家や専門家を集めたが、その中にヴェルナー・ベスト博士がいた[36]。さらに1935年初頭にゲシュタポの機構改革が行われた。各「課 (Abteilung)」を3つの「部 (Hauptabteilung)」に統合することとしたのであった。ゲシュタポは、1部（行政・司法）、2部（政治警察）、3部（諜報警察）の3つの部から構成されることとなり、そのうちゲシュタポ全体の統括と2部の統括をハイドリヒ自身が行い、1部と3部をヴェルナー・ベストが統括した。ハイドリヒの統括する2部は、「マルキシズム」担当課（共産主義者や社会主義者の取り締まり。課長ハインリヒ・ミュラー。）、「反動、非合法活動、教会」担当課（キリスト教会や保守の反ナチ運動取締り。課長フランツ・ヨーゼフ・フーバー。）「NSDAP、堕胎、175頁、純血問題」担当課（ナチ党内反ヒトラー活動、堕胎、同性愛、ユダヤ人との交際取り締まり。課長ヨーゼフ・マイジンガー。）など6つの課から構成されていた[37][38]。

1936年2月10日に第3ゲシュタポ法が制定され、以降ゲシュタポの職権はプロイセン州に限らず、全ドイツに及ぶことが定義された。ただしこの法律公布後もゲシュタポは、その正式名称にプロイセン州をふくむドイツ全国を指す「Reichs（ライヒの）」を冠さず、「Staats」の名称を冠したままであった[15]。またこの法律によりゲシュタポは法を超越した存在である事が確認された。すなわち裁判所にはゲシュタポの決定が合法であるかどうかの審査権はなく、また裁判所で無罪判決を受けた者であってもゲシュタポは逮捕して「保護拘禁」することが可能となった[39]。1936年9月20日にはゲシュタポ局長が各州の政治警察司令官となることが確認された[28]。
保安警察・国家保安本部ラインハルト・ハイドリヒ、1940年

1936年6月17日、ヒムラーは内相フリックに下属する全ドイツ警察長官 (Chef der Deutschen Polizei) に任じられた[40]。この地位はすべての警察所管事項を管掌するものであったが、内相の指揮下にあるとは明言されていないものであった[40]。