一、討平北漢
太宗即位初期，在對內實行了一係列新的政策，使政局走上正規以後，就著手後周世宗時就開始的但還未全部完成的統一天下事業。如前所述，太宗是在太祖基本上征服了南方諸國後即位的。但當時南方還剩下兩個割據政權，即地處浙江的吳越國與在福建泉州、漳州一帶的陳洪進。在江南被滅亡後，這兩個割據政權已經無法獨立存在下去。結果，太平興國三年（９７８），陳洪進先到開封向宋朝獻上了泉、漳二州地圖。接著，吳越王錢俶也歸順了宋朝。宋朝不用一兵一卒，就把南方殘留的兩國的土地歸入自己的版圖。其中，吳越王錢俶並不是主動歸順的。他去開封入朝時，帶了府庫裏很多金銀財寶，作為貢物獻給太宗，妄圖以此討得太宗的歡心，求得保全國家，順利回國。到了開封後，錢俶又提出願意獻兵甲、去國號等，以此作為條件，請求太宗能同意他暫且回國，但都沒有被太宗同意。錢俶束手無策，一籌莫展，侍從崔仁冀對他說：“朝廷意可知矣，大王不速納土，禍且至”。有人不同意，崔仁冀聲淚俱下地說：“今已在人掌握中，去國千裏，惟有羽翼乃能飛去耳。”沒有辦法，錢俶最後終於下決心歸順，聽到這一消息，一千餘名隨從皆失聲痛哭不止。
這樣，南方十國已被全部平定，隻剩下北方的北漢和被契丹占領的燕雲地區。太宗從即位開始，就堅決表示要親手奪取太原，在靠近北漢的邊境，不斷集結武器軍糧，進行戰爭準備。但是，當一提出北征，朝廷上的意見就分為兩派。樞密使曹彬讚成北伐，他說：“國家兵甲精銳，人心忻戴，若行吊伐，如摧枯拉朽耳，何有不可哉！”這更堅定了太宗的決心。隻是以宰相薛居正為首的文臣對北征抱消極態度。薛居正列舉以往周世宗和太祖失敗的教訓，勸告太宗說：“（太原）得之不足以辟土，舍之不足以為患，願陛下熟慮之。”但太宗與太祖不同，是個銳氣十足的皇帝，根本不理會這種消極的論調，用“朕計決矣，卿等勿複言”的話，封住了薛居正等堅持反對意見的大臣們的嘴，於太平興國四年正月，任命潘美為大將，率領軍隊出發北征。 同年二月，太宗離開都城開封，親征太原。
北漢一受到宋朝攻擊，北漢主劉繼元像以往一樣，立即請求契丹出兵援助。契丹派遣名將耶律沙率領援兵趕赴太原。但在太原北麵數十公裏的石嶺關，受到預先埋伏在這裏嚴陣以待的一支宋軍的阻擊，使契丹援軍未能趕到太原。太宗於四月二十二日到達太原城下，親自督戰，幾十萬大軍把太原城圍得水泄不通。太原城裏“矢石交下如雨”，契丹援軍又久盼不至，補給糧草的路也被封鎖，劉繼元的親信家臣相繼逃亡，昔日被北漢吹噓為牢不可破的太原城，終於在這年的五月六日被攻陷，北漢主劉繼元也隻好投降了宋朝。
太宗解決了周世宗與太祖幾次試圖解決而未能解決的問題，得意非凡，即興作了一首“平晉詩”，命令群臣一起唱和。接著，太宗又拆毀了太原舊城，把太原從州降為縣，稱作平晉縣，而把州的治所移到別的縣，改稱為並州。還把這一地區的僧人、道士及富民遷到洛陽居住，而將太原城裏的居民強行遷移到並州，放火燒毀了他們在太原的住處房屋。城中的居民遭到這突然襲擊，爭著出城逃避，老人孩子來不及逃出城，被大火活活燒死的不知其數。
二、高梁河之戰
太宗攻下太原後隻留駐半個月，就立即整頓部隊，向東進軍，去實現他奪回燕雲十六州的夙願。但是，經過三四個月的太原攻堅戰，將領和士兵們都已十分疲勞，而糧草也差不多已經用完。在這種情況下，將士們都產生了厭戰情緒，不願立即和契丹交戰，隻是不敢說出來而已。這時，卻有人投太宗所好，上奏說：“乘此破竹之勢，取之（燕雲十六州）甚易，時不可失也。”太宗大喜，征討契丹的決心更加堅定。事實上，太宗在剛開始征討北漢時，就有了一打下太原，立即繼續北征契丹的打算，在親征北漢的時候，已派遣張洎等出使高麗，要高麗和宋軍一起攻打契丹。
開始時，宋軍順利地從契丹手中奪回了易州、涿州、順州和薊州。接著，把契丹統治下的最大城市———南京幽州城包圍了起來。守衛幽州的是契丹軍中戰鬥力較弱的部隊，一見宋軍攻城，就倉皇地準備逃跑。但是，當宋軍縮小包圍圈後，契丹軍隊陷入無法突圍的絕境，逼迫他們孤注一擲，拚命抵抗。太宗親自督促各路大軍，多次強行攻城，都沒有攻破。這時，耶律休哥等率領的援軍又到了，宋軍受到城內外契丹軍隊的夾擊，被迫撤去對幽州的包圍，在城的西麵高梁河與遼軍進行決戰。結果，宋軍以慘敗告終，戰死者達一萬多人。太宗趁著黑夜逃脫險境，甩開追兵好不容易才到達涿州，從那裏乘驢車繼續逃遁數百裏。這次戰役被稱為高梁河之戰，對宋朝來說，是一個屈辱事件。但是在宋代官方文件及有關史籍中，對這次戰鬥的前後經過，都未加記載。例如《長編》（卷二〇）隻是說：“上（太宗）以幽州城逾旬不下，士卒疲頓，轉輸回遠，複恐契丹來救，遂詔班師。車駕夕發，命諸將整軍徐還。”根本沒有提到在高梁河被遼軍打得大敗。對這件事的真相，是從記載契丹史事的《遼史》、《契丹國誌》中了解到的。不過，在《宋史·太宗本紀》中有這樣的記載：“秋七月癸未，帝（太宗）督諸軍及契丹大戰高梁河，敗績。甲申，班師。”根據推測，《宋史》的編修者，可能是參照契丹方麵的記述而加以記載的。另外，在記述北宋史事的有關野史筆記中，也是載有這次敗仗的。王銍的《默記》就是其中之一。根據《默記》（卷上）的記載：“大駕（太宗）至幽州城下，四麵攻城，而我師以平晉不賞，又使之平幽，遂軍變。太宗與所親厚夜遁？ ？一夜達旦，大駕行三百裏乃脫。”還說，就在這次戰鬥中，太宗腿上中了兩箭，以後箭傷每年都要複發，疼痛不已。而且，太宗最後就是箭傷複發而死的。
高梁河之戰的失利，對太宗精神上、肉體上都是沉重的打擊。失敗的原因，除了上麵所說的，還因為在北漢被平定以後，沒有及時行賞，將士們心裏都不願繼續前進，而太宗卻驅使他們立即進攻幽州，軍隊中終於爆發了強烈的不滿情緒。對此，太宗晚年也曾反省說，這是由於“方年少氣銳”，急於收複燕雲的緣故。但遺憾的是，後來撤兵回到都城後，仍舊沒有對平定太原的勝利論功行賞，士兵們的不滿情緒越來越強烈。太祖之子德昭向太宗進言，請求及早封賞，但受到太宗的嚴厲訓斥，結果悲觀絕望、憤然自殺這件事就發生在這個時候。這年十月，總算對平定太原的有功之臣進行了一次封賞，可是，直到兩年以後的太平興國六年，還有人上疏，請求對平定北漢行賞。可見當時的賞賜很不徹底，最後不了了之。
高梁河之戰以後，宋遼兩國繼續互相抗爭，局部戰爭不斷，雙方或進或退，互有勝負。第二年十月到十一月，耶律休哥率大軍入侵，攻破宋邊境要塞瓦橋關，到達莫州。太宗為了救援，再次北征。半路上，契丹國主景宗聽到宋朝派遣增援部隊的消息，主動退守到幽州。太宗駐蹕大名府，寫詩說：“一箭未施戎馬遁，六軍空恨陣雲高。”表示要追擊撤退的契丹軍隊，再次進攻幽州。但李昉等大臣建議待部隊休整恢複以後，再對幽州出兵，太宗這才取消了原定計劃，下令返回都城。這次戰鬥，史稱瓦橋關之戰。