趙光義在趙匡胤死後終於順利即位了。當然他不會忘記一直為他出力的趙普，但是對趙光義來說這完成統一大業才是最重要的。因為他的即位多少有些名不正言不順。趙光義還是奉行先南後北的政策，像吳越的錢俶，閩地的陳洪進雖然已經入朝，不過這吳越國王尚在，而且錢俶還是名義上的天下兵馬大元帥，他們的兵力也尚在。
趙光義不斷在政治上向吳越施壓，錢俶也知道這吳越國王是不能再當下去了，而這掛名的兵馬大元帥也沒有什麼用了。於是錢俶隻得屢次請求卸了這些職位，在一番作秀之後，趙光義終於答應了讓錢俶不當吳越國王了，吳越國從此滅亡。閩地割據勢力消失的方式和吳越國差不多。
在順利解決南方的問題之後。趙光義又把目光放到了北方，目標依然是北漢。否則趙光義的大平興國年號也算是白取了。但是趙光義對於伐北漢還有顧慮的，畢竟以前柴榮沒能滅了北漢，趙匡胤也不能滅了北漢。上麵二位的能力可都是一流。為此趙光義與曹彬有過一段對話。曹彬對於趙光義的顧慮回答說：“世宗時，史彥超敗於石嶺關，人情驚擾，故班師；太祖頓兵甘草地，會歲暑雨，軍士多疾，因是中止。”（史彥超確實算是員猛將，但是有些冒功，擅自行動，結果誤了大事。不過最後還是被追認為烈士了。）趙光義又問：“如果我現在討伐北漢如何？”曹彬回答說：“現在國家兵精糧足，剪除太原的孤壘，如摧枯拉朽，一定可以成功。”在得到曹彬的回答之後，趙光義更加堅定了伐滅北漢的決心。
在宋大平興國四年，公元979年，趙光義出兵伐北漢。這次伐北漢可以說是精心策劃的，首先宋軍將柴榮與趙匡胤為什麼攻北漢總是攻不下來的原因認真分析了。他們可能認為是有以下原因：第一，太原城十分堅固，這太原可是唐朝的龍城，而且北漢為了對抗中原政權，這修城牆肯定是少不了的。第二，每次契丹必定派出援軍支援北漢，北漢對於契丹而言，他是契丹對抗宋的重要棋子。第三，北漢雖小，但卻不乏猛將與死士，並州民風彪悍，戰鬥起來十分頑強。
趙光義對並州頑強可以用攻心之術分化北漢內部陣營，對於堅城隻能強攻。而對於契丹援軍，這也是其中非常最重要的一方麵。趙光義主要是在這契丹援軍這個問題上下工夫，在趙光義看來，如果能打敗契丹援軍，這北漢也就基本拿下了。
趙光義終於下決心了，契丹在得知趙光義要拿下北漢之後，還是派出了援軍。趙光義也相應（趙炅）製定了分割包圍、先打遼援、後攻太原的方略，並組建了能發射矢石的飛山軍用以攻城。
這場仗是無法避免了，趙光義命潘美為北路都招討製置使，率主力先發，四麵包圍太原；命郭進為石嶺關都部署，阻擊從北麵增援的遼軍；命孟玄珌為鎮州駐泊兵馬都鈐轄，阻擊從東麵增援的遼軍；令解暉、齊廷琛、王貴、折禦卿等將分兵包圍隆州（今山西祁縣東）、盂縣(今屬山西)、汾州（今山西汾陽）、沁州（今山西沁縣）、嵐州（今山西嵐縣北）等地，割裂北漢軍的部署。
北漢受攻，“照例”向契丹求救，當時契丹的皇帝耶律璟因為殘暴不仁，被他將要殺的人聯合起來，一起將他殺死。眾人皆推舉耶律賢為契丹皇帝。耶律賢站在自己的立場上，當然是不願北漢被宋所滅，於是他先派人來向北漢到宋求請，但是趙光義對於自身利益卻是必須滅北漢。與前幾次征北漢一樣，前期戰鬥比較有利。宋軍主力由鎮州（今河北正定）經承天軍寨（今山西娘子關）分兵西進。
遼令南府宰相耶律沙、冀王敵烈、南院大王耶律斜軫等率兵南下援北漢，同時加強南京（今北京）方麵的防守。三月十六，當遼軍日夜兼程進至石嶺關（今山西陽曲東北）時，郭進早已布陣待戰。遼先鋒軍敵烈不等後軍至，搶先渡澗，軍未過半，郭進突然率軍出擊，斬敵烈等五將，殲萬餘人，餘眾倉皇退走。宋軍打援獲勝，乘勢展開進攻，至四月二十一，先後攻占岢嵐軍、隆州、盂縣、憲州（今山西靜樂）、石州（今山西離石）、嵐州等地，北漢隻剩下汾州、太原兩三城。北漢主驚懼，再次遣使赴遼求援，被宋軍截獲；又遣師反擊，被宋軍擊敗，控鶴指揮使裴正戰死。從此，北漢軍困守太原，不敢出戰，宋軍在城外築長圍四麵圍攻。
北漢再次麵臨危機，而欲向契丹再次討要援兵，不過契丹方麵，兩路援軍都為宋軍所敗，而且契丹還要考慮他南京府的安全問題，也不想把大量的兵力耗在對北漢的援救上，至於北漢，契丹隻有把他棄了。趙光義聽說圍城多日，還未攻取，於是又親自跑來前線，指揮這場北漢攻堅戰。太原城確實很堅固，但是這沒有了遼國援軍，太原城內士氣先降了一半，加上趙光義屢屢采用攻心之術向城內招降。太原將士多有動搖，而這城下的趙光義，每天都讓弓箭手往城上射箭，一日所射出的箭矢竟達百萬，也就是說太原城基本被射成刺蝟了。城內終於撐不住了，雖然太原城中依然有許多人願意堅守，比如直接把趙光義勸降書毀了的那位。不過到了這個內無戰力、外無救兵的情況，就連平時劉繼元的親信都撐不住了，紛紛有人出城投降。劉繼元大怒，將投降者家屬殺死，但是這卻不能阻止太原城的投誠者。在得知大勢已去的情況下，劉繼元被迫出降。