平定後蜀不久，趙匡胤先後派遣了侯霸榮、惠磷等人為間諜，打進了北漢內部。侯、惠等人積極活動，很快買通了當時北漢宰相郭無為。在郭無為的安排下，侯、惠等人都成了北漢的宮廷供奉官，可以方便地出入宮禁。
開寶元年（公元968年）八月，趙匡胤發兵進攻北漢。同時又密令侯、惠等人相機行事，裏應外合，“迎接”宋軍。九月，宋軍突破了北漢的團柏穀防線，越過汾河橋，進逼太原城下。在宋軍進逼太原城下的同時，侯霸榮在郭無為的支持下，發動了宮廷政變，刺殺了北漢國主劉繼恩。但意想不到的是，郭無為此時卻又突然變卦。就在侯霸榮率人刺殺劉繼恩時，他卻悄悄調動部隊包圍了刺殺現場，將侯霸榮和其同黨全部殺死。郭無為的臨陣變卦，攪亂了趙匡胤精心布置的一招妙棋，宋軍的失敗也在眼前。果然，宋兵圍困太原不久，契丹即來兵支援北漢，圍城的宋軍腹背受敵，大敗而歸。北漢乘機反攻，宋朝方麵自八月進軍以來所占領的州縣不但全部丟失，還被北漢軍隊打進了晉、絳二州，大掠而去。
本來，此次開戰前，趙匡胤已將北漢君臣投降後的官職提前封好了，沒想到最後的結局卻是這樣。次年（公元969年）二月，為雪年前之恥，他決定親率大軍征討北漢。戰事一開始北宋方麵很順利，三月，趙匡胤即率大軍突破了北漢的數道防線，進抵太原城下，將其團團圍住。但此後戰事即進入膠著狀態，宋軍發起的幾次強攻都被北漢名將劉繼業擊退。強攻不行，趙匡胤又采取了長期圍困的政策，但三個多月過去了，仍沒能將太原攻克。這年的閏五月，宋兵正式從太原撤兵。北漢軍隊又一次乘勢追擊，宋軍丟失了大批糧草，損失比上一次還要嚴重。
北宋自建隆三年（公元962年）九月首次對外用兵起，至乾德三年（公元965年）正月，不足三年的時間，就平定了南平高氏、湖南周氏、後蜀孟氏三個割據政權，統一了63州大片領土。但可惜的是，自平蜀後，幾乎完全是由於趙匡胤個人的舉措失當，導致了一係列意外的變故，先是蜀中動蕩不已，緊接著又是兩次北征太原損失慘重，“先南後北”的統一大業因此而停滯。
自太原班師後，經過一年多的休整，開寶三年（公元970年）九月，宋太祖決定攻取南漢，繼續實施“先南後北”的統一方略。
南漢以廣州為中心，割據嶺南兩廣地區達60年之久。北宋平定後蜀之後，潘美等宋將也攻取了南漢的郴州，形成了良好的進攻態勢。現在，潘美等接到趙匡胤滅亡南漢的指示後，馬上就攻陷了賀州，隨之連克昭、杜、連、韶四州，大敗南漢軍10餘萬於蓮花峰下。至次年二月，即攻克廣州，南漢滅亡。宋王朝又得了60州214縣的領土。
南漢滅亡之後，南方剩下的最後三個割據政權個個自危，震恐異常。吳越和漳泉急忙上表稱臣，接受宋朝的官職。南唐是“十國”中最大的一個割據政權，那裏土地肥沃，沒有像中原那樣遭到戰爭的破壞，所以經濟繁榮，國力富裕。但是，南唐的國主都是政治上十分昏庸無能的人，後來弄得國力漸漸衰弱下來。最後的一個國主李煜，史稱南唐後主，是一個著名的詞人，對詩詞、音樂、書畫，十分精通，可就是不懂得處理國事。北宋建國後，李煜每年向北宋進貢大量金銀財寶，想維持他的地位。後來，他看到宋太祖接連消滅了周圍三個小國，才著慌起來，趕快派使者給趙匡胤送去一封信，表示願意取消南唐國號，自己改稱“江南國主”。但是這一點小小讓步，怎麼能改變趙匡胤統一中國的決心呢？
經過三年的準備，開寶七年（公元974年）十月，趙匡胤令曹彬為統帥、潘美為都監，率水、步、騎兵在采石一線強行渡江，進圍金陵（今南京）；同時令吳越國主錢俶統帥吳越軍5萬，由宋將丁德裕監軍，從東麵攻取常州（今江蘇常州），然後會師金陵。令王明為西路軍，向武昌方向進擊，牽製屯駐在江西的南唐軍隊，使其無法東下援救金陵。