由於趙普的引薦，趙匡胤認識到曹彬雖為後周舊屬，但為人不偏不倚，就讓他掌兵，改任神武將軍。曹彬不負眾望，引軍打敗了契丹六萬來犯之敵，於是又兼樞密承旨。
乾德二年（公元964年），趙匡胤部署中央和地方的政策方略已定，不再需要後周的前朝老臣，於是罷除範質、王溥等宰相，任命趙普為門下侍郎、平章事，成為大宋首相。是年初冬，下了大雪，趙匡胤帶著晉王趙光義踏雪深夜來訪。趙普趕緊讓妻子燃炭烤肉置酒招待皇帝和晉王。趙匡胤雖然當了皇帝，但性情豪放沒有架子，仍然稱趙普之妻為嫂，趙普十分感動。於是君臣開始商議如何平定天下的問題。當時主要的國家除了大宋，還有北漢、後蜀、南唐、南漢、吳越等國。趙匡胤提出想先攻打唯一的北方割據勢力北漢，平定十二州後再發兵南征。趙普卻認為應該“先南後北”，因為北漢先留著可以擋住契丹人，如果打下北漢則北方沒有屏障，南下反而有顧慮。趙匡胤笑道：朕是試探你的，本意也是先南後北。
於是商定重用曹彬。曹彬果然不負聖望，平定後蜀、攻破南唐、擊敗北漢，成為北宋開國第一良將，因功升樞密使、檢校太尉、忠武軍節度使。趙普因參讚有功，於公元967年加右仆射和昭文殿大學士的官銜。實際上，當時的趙普因皇恩過隆，獨攬宰相大權，外國使者來朝時往往備兩份禮物，一分給朝廷，一份給趙普。
有一次，趙匡胤突然到了趙普家，發現廊下堆有海貨十瓶，很是好奇。打開一看，全是小顆粒的瓜子金。趙普當時臉都白了，隻好坦白說：這是吳越王錢俶送來的。趙匡胤嘲諷說：錢俶大概認為國家大事都由相爺您決斷，所以送金子！趙普百口莫辯，深知禍事臨頭。接著，趙匡胤派人秘密調查趙普，得知他違反禁令擴展府第和與其他大臣通婚，還有人舉報他受賄。若是其他人，英明神武的趙匡胤早就將其收監了，但他是趙普，功勞太大，關係盤根錯節，於是沒有聲張，隻是設置副相與趙普分權。公元973年，趙匡胤任命趙普為河陽三城節度使，領檢校太尉、同平章事。雖然仍有宰相的頭銜，但趙普已出離權力中心，坐了冷板凳。
6
眼看趙普的政治生命就要結束了。然而，三年後發生了一起史上疑案，即“燭影斧聲”案，精明的趙普立即抓住機會再次入相。
開寶九年（公元976年）十月二十日，大雪紛飛，趙匡胤召晉王、開封府尹趙光義入寢宮飲酒，但不讓第三者在場。皇帝和弟弟喝酒聊天，室外宮女和宦官由於離得遠不知說些什麼，隻見搖晃的燭影中，高大的皇帝似乎手持玉斧戳地，嚓嚓有聲。飲至深夜，趙光義告辭出宮，趙匡胤和衣就寢。淩晨，侍奉皇帝的宦官王繼恩沒有聽到皇帝的鼾聲，一摸鼻息，皇帝駕崩了！
皇後宋氏聽聞，趕緊派王繼恩出宮請四皇子趙德芳入宮。然而王繼恩卻直奔開封府請趙光義，更奇怪的是開封府門前站著趙光義的親信程德玄，似乎在等什麼。二人入府見趙光義說：皇帝駕崩，請晉王入宮。趙光義非常驚訝，猶豫不肯前往，說：應該與家人商議一下。王繼恩催促說：時間久了，恐怕被別人搶先了！於是三人冒雪趕往宮中。宋皇後得知王繼恩回宮，就問：是德芳來了嗎？王繼恩卻說：晉王到了。宋皇後回頭看見趙光義，驚詫得說不出話，但隨即反應過來，哭道：我們母子的性命都托付給官家了！
那時，官家是後宮女人對皇帝的稱呼。宋皇後這樣稱呼趙光義，等於承認他是皇帝了。趙光義傷心地流淚，說：請皇嫂節哀，共保富貴，不必擔心。於是天明後就宣布繼位登基，是為宋太宗，並改名趙炅。
趙炅繼位時三十八歲，雖貴為晉王，但實際職權是京師長官，在開封府尹任上幹了十五年。由於宋太祖死得離奇，所以朝野猜測很多，宋太祖親子趙德昭、趙德芳以及宋太祖四弟趙光美（太宗登基位後改趙廷美）都被認為可以繼承帝位。因此，改名登位後的趙炅要拿出證據證明他是法定繼承人。
這時候，趙普給新皇帝趙炅寫了一封密信，首先恭賀他當上皇帝，接著說：他能夠證明皇帝是合法的。趙炅喜出望外，馬上召見了趙普。於是二人炮製出了“金匱之盟”。
宋太祖的母親杜太後臨終前，把趙匡胤和趙普叫到病榻前，命趙普記錄遺命。杜太後問趙匡胤：我兒何以得天下？趙匡胤回答說：是祖宗和太後的恩德與福蔭。杜太後說：你錯了！若不是周世宗傳位幼子，你豈能取得天下？你當吸取教訓，不能讓少子繼位，他日要把帝位傳給光義，光義再傳給德昭。這樣，則國有長君，是社稷之幸！趙匡胤泣拜受訓。杜太後命趙普寫為誓書，藏於金匱（櫃）之中。