但宋太祖他更從自己身上反思明白，這些手握重兵的高級將領終究是自己皇位的潛在威脅。太祖即位之初的一段時間裏，隻要聽說節度使尤其是邊鎮節度使有“謀反”的跡象，他都要派人前往偵察，探聽虛實，看是否有謀反跡象，以便采取措施。這從一個側麵表明宋太祖對手握兵權的武將很不放心。
事實上，宋太祖在賞賜這些將帥擁戴之功的同時，就已逐步采取措施抑製他們兵權的過分膨脹，重要軍職頻繁換人，並借機罷黜一些將領的兵權。平定李筠叛亂後，命令韓重汗代替張光翰為侍衛馬軍都指揮使，羅彥環代替趙彥徽為侍衛步軍都指揮使。第二年，殿前都點檢、鎮寧節度使慕容延釗罷為山南東道節度使，侍衛親軍馬步軍都指揮使韓令坤罷為成德節度使。侍衛親軍馬步軍都指揮使由石守信兼任，太祖自己擔任過的殿前都點檢從此不再除授，這個職位等於自行消滅。實施這些軍職的人事變動，意在安排自己的心腹和親信擔任最重要的職位，像韓重汗、石守信是太祖義社十兄弟的成員。不過，對宋太祖來說，軍權都掌握在自己的心腹和親信手裏，是不是就算高枕無憂了呢？
宋太祖之所以轉瞬之間奪取了政權，靠的正是自己一幫親信兄弟的擁戴。登上皇帝寶座的宋太祖一方麵不能虧待了這幫兄弟，另一方麵也不能不時刻提防著他們。怎樣安排，才能即使他們心說誠服地擁護太祖加強集權，又不至於引起懷疑而發生意異和變亂呢？宋太祖曾一再就這些問題反複斟酌，思考采取何種既急且狠的措施解決這些問題，以免重蹈前代“興亡以兵”的覆轍。
宋太祖“杯酒釋兵權”就是從這裏開始策劃的。
當年七月初的一天，宋太祖召來石守信、王審琦等高級將領聚會飲酒。酒酣耳勢之際，宋太祖打發走侍從人員，無限深情地對功臣宿將們說：“我如果沒有諸位的竭力擁戴，決不會有今天。對於你們的功德，我一輩子也不能忘記。”
說到這兒，宋太祖口氣一轉，感慨萬端，說：“然而做天子也太艱難了，真不如做個節度使快樂，我長年累月夜裏都不能安安穩穩睡覺啊！”將領不知宋太祖真實意圖，就問：“陛下遇到什麼難事睡不好覺呢？”
宋太祖平靜地回答說：“個中緣由誰人不知，天子之位，誰人不想？”
石守信等人聽到昔日的結義兄弟、今日的天子說出這番話來，不禁惶恐萬分，冒出一身冷汗，宴會的氣氛立即緊張起來，他們趕緊叩頭說：“陛下怎麼說出這樣的話呢？如今天命已定，誰還敢再有異心！”
宋太祖接過話頭說：“不能這樣看，諸位雖然沒有異心，然而你們的部下如果出現一些貪圖富貴的人，一旦把黃袍加蓋在你們身上，你們雖然不想做皇帝，辦得到嗎？”
與會將領這才轉過彎來，終於明白了宋太祖的真實意圖，於是一邊涕泣大哭，一邊叩頭跪拜，說：“我們大家愚笨，沒有想到這一層上來，請陛下可憐我們，給我們指出一條生路。”
宋太祖見狀，知道時機成熟，趁勢說出了自己經過深思熟慮的想法：“人生短暫，轉瞬即逝，就像白駒過隙，那些夢想大富大貴的人，不過是想多積累些金錢，供自己吃喝玩樂，好好享受一番，並使子孫們過上好日子，不至於因缺乏物什而陷入貧窮。諸位何不放棄兵權，到地方上去當個大官，挑選好的田地和房屋買下來，為子孫後代留下一份永遠不可動搖的基業，再多多置弄一些歌女舞女，天天飲酒歡樂，與之一起愉快地歡度晚年。到那時候，我再同諸位結成兒女親家，君臣之間互不猜疑，上下相安，這樣不是很好嗎？”
石守信等人聽太祖這樣一說，驚慌恐懼之態逐漸消失，感恩戴德之情油然而生，於是再次叩頭拜謝說：“陛下為我們考慮得如此周全，真可謂生死之情。骨肉之親啊！”
第二天，石守信等功臣宿將，紛紛上書稱身體患病，不適宜領兵作戰，請求解除軍權。宋太祖十分高興，立即同意他們的請求，解除了他們統帥禁軍的權力，同時賞賜給他們大量金銀財寶。這些功臣宿將都罷黜了軍職，隻剩下一個徒有虛名的榮譽頭銜——節度使。