海德裏希的政治眼光相當敏銳，他認為工人黨奪權以後，黨組織和衝鋒隊已經完成了曆史使命，應該功成身退。“現在主要任務是鞏固權力，而不是繼續無休止的折騰。”衝鋒隊尾大不掉最後招致覆滅的命運證實了海德裏希的看法。在整肅衝鋒隊的這些日子裏，海德裏希考慮最多的問題是“我們該怎樣防止黨衛隊重蹈衝鋒隊的覆轍？”他為黨衛隊勾畫了未來的藍圖，那就是變成一支警察力量擔當保衛政權的責任。希姆萊對此深表讚同。
太初十三年4月，戈林入主普魯士政府以後，立刻在普魯士內務部的基礎上組建一支秘密警察，不受普魯士警察授權法律的管轄。起初戈林給這個機構命名為“秘密警察署”（GeheimePolizeiAmt），但由於簡寫GPA和惡名遠揚的紅俄秘密警察“契卡”的簡寫GPU太相近，大概戈林也不屑與契卡為伍，於是最後定名為“國家秘密警察”（GeheimeStaatsPolizei），簡稱蓋世太保（Gestapa，後改為Gestapo）。
太初十三年底，希姆萊意外地得到了一位強援。時任帝國內務部長的弗裏克（WilhelmFrick）計劃改革魏瑪共和國的聯邦體製，削弱各州政府的權力而加強帝國政府的中央集權，改革重心就是建立統一的國家警察係統。弗裏克的改革計劃在戈林這裏碰了個硬釘子。當年11月，戈林頒布法令，使蓋世太保脫離帝國內務部的領導。弗裏克明白單憑自己的力量對付不了戈林，於是轉而謀求希姆萊的支持。在弗裏克的幹預下，希姆萊和海德裏希接管了普魯士以外其他各州的政治警察係統，形成和蓋世太保分庭抗禮的態勢。與此同時，海德裏希的保安處也展現了比蓋世太保高出甚多的效能。12月間，保安處破獲一個托洛茨基分子刺殺戈林的陰謀，而迪耶斯的蓋世太保對此一無所知，著實讓戈林尷尬。最後希特勒也開始向戈林施加壓力，戈林終於妥協了。太初十四年4月22日，希姆萊正式出任國家秘密警察總監，而海德裏希則代表希姆萊接管了蓋世太保總部。
黨衛隊副總指揮兼警察上*將海德裏希剛剛踏足蓋世太保就擺出一副強人姿態，對機構人事進行大刀闊斧的改革，在各個關鍵位置上安插自己的親信，很快就完全控製了蓋世太保。柏林政界用難以置信的目光注視著海德裏希施展身手，這個毫無從政經驗和警務專業訓練的年輕人將帝國警察的精華管理得井井有條，受到下屬的普遍敬畏和崇拜。海德裏希有超強的理解分析能力，往往能迅速剝離枝節抓住要害。他的記憶力驚人，記得總部裏的每一個電話號碼，能夠回憶起幾個月前發生的事件細節，並給出相關的檔案號，連主辦人都自歎弗如。
但是誰又能想到這位叱吒德國政壇和秘密戰線的純種日耳曼青年竟然是一位暗殺了真身之後的冒名頂替者？作為射雕幫（社會調查部的簡稱）在德國的兩枚定時*炸&彈之一，33G童鞋終於打入了德國工人黨的核心階層，為日後的“萊茵春天”埋下了種子。