抗戰初期，華北戰場呈膠著狀態，日本侵略軍妄想全麵控製華北，使其成為全麵侵占中國的又一個大後方。國民黨軍在忻口、娘子關對日軍進行了有效打擊，使華北抗戰出現了新的局麵。為配合忻口戰役，楊成武率獨立團在敵後戰場多次進行伏擊、襲擊、出擊作戰，破壞敵之聯絡，斷絕敵之交通，阻止敵之開進，截獲敵之彈藥、給養，以遊擊戰的手段與日軍在晉東、晉北、冀西、察南地區周旋。在很長一段時間裏，廣靈至靈丘的公路一直被獨立團牢牢控製，給阪垣師團後方補給造成極大的困難，沉重打擊了日軍第5師團的後方補給線，有力地支援了友軍在忻口的作戰。經過幾次戰鬥，到1937年10月，獨立團先後占領了淶源、廣靈等重要城鎮，建立了抗日革命根據地。這時，獨立團由出征時的1700多人發展到7千多人，奉八路軍總部命令擴編為八路軍獨立第1師，楊成武任獨立第1師師長。一個月後，晉察冀軍區成立，聶榮臻擔任軍區司令員兼政委。八路軍獨立第1師所開辟的察南、雁北、平西及保定以西的冀西地區，被劃為晉察冀軍區第一分區，楊成武被任命為獨立第1師師長兼第一分區司令員，鄧華任師政委兼第一分區政委，熊伯濤任分區參謀長，羅元發任分區政治部主任。
1939年秋，法西斯德國入侵波蘭，英法對德宣戰，第二次世界大戰在歐洲爆發。日寇在中國一方麵對國民黨軍正麵戰場減弱軍事進攻，企圖用政治手段逼迫蔣介石政府投降，同時唆使汪精衛集團建立傀儡政權；另一方麵對共產黨領導的敵後戰場加緊進行大規模“掃蕩”，以鞏固其占領區，妄圖加快吞並、滅亡中國的步伐。10月31日，楊成武接到通知趕到阜平縣青山村，準備參加晉察冀分局組織工作會議和晉察冀軍區成立兩周年紀念大會，突然得到情報：日軍華北方麵軍駐蒙軍獨立混成第2旅團長阿部規秀中將親率第2、第4大隊約1500多人(偽軍除外)進犯淶源，企圖尋找八路軍主力決戰。楊成武當即請戰，率部在黃土嶺以東上莊子至寨頭之間狹穀進行伏擊，結果這次伏擊戰，共斃傷日軍900餘人，阿部規秀也被迫擊炮炸死。阿部規秀是八路軍、新四軍在整個抗日戰爭期間擊斃的日軍最高將領，此時楊成武才25歲。八路軍25歲的年輕將領打死日寇52歲的老將，這個大快人心的消息在解放區傳頌一時，蔣介石也特意給八路軍總部發來電報詢問情況並說要給予獎賞。
1944年，楊成武調任冀中軍區任司令員，擔負起恢複、鞏固和發展冀中平原抗日根據地，積極準備戰略反攻的任務。楊成武在任冀中軍區司令員期間，率冀中軍民在冀中平原進行了豐富多彩的地雷戰、地道戰、交通戰、平原遊擊戰、水上遊擊戰，有力地打擊了日本侵略軍。
1945年8月，日本帝國主義宣布無條件投降。抗戰硝煙未散，蔣介石又燃戰火，楊成武部很快又投入到了解放戰爭之中。1947年秋，東北民主聯軍發起秋季攻勢，蔣介石急令華北國民黨軍五個師進至北寧線出關增援，楊成武決定沿路伏擊敵援兵。10月16日，石家莊守敵第3軍軍長羅曆戎果然率軍部、第7師、第22師第66團送上門來。楊成武把主力部隊布置在清風店地區，經過三天激戰，共殲滅國民黨軍1.7萬餘人，其中俘敵第3軍軍長羅曆戎以下官兵1.1萬餘人，擊落飛機1架，開創了晉察冀軍民打殲滅戰的新紀錄，對扭轉華北戰局起了重要作用，並有力地配合了東北民主聯軍的秋季攻勢。清風店戰役剛結束，中央軍委決定由楊成武部乘勝奪取石家莊。11月5日夜，攻城部隊突然包圍石家莊外圍各據點，全線發起攻擊。8日，我軍全部掃清敵外圍守軍據點。10日下午4時，我軍向市區發動總攻，很快突破敵人兩道防線，進入市區作戰，到深夜全殲石家莊市區守軍。此戰，我軍共殲國民黨軍2.4萬餘人，繳獲坦克9輛、火炮100餘門、槍1萬餘支、鐵甲車5列、機車90台、汽車280輛及大批彈藥和物資，拔除了國民黨軍在華北的一個戰略要點，使晉察冀和晉冀魯豫兩大解放區連成一片。同時，開創了人民解放軍奪取大城市的先例，為日後進行城市攻堅戰提供了寶貴經驗。為此，中共中央特發電嘉獎。
1948年夏秋之交，在解放戰爭進入戰略決戰的重要時刻，黨中央和毛澤東把楊成武召到西柏坡接受新的任務：以第1縱隊、第2縱隊的兩個旅、第6縱隊為主，組成第3兵團，並統一指揮晉綏的第8縱隊、內蒙的兩個騎兵師以及晉西地區的地方部隊，由楊成武任司令員，李井泉任政治委員，李天煥任副政治委員。第3兵團的主要任務是進軍綏遠，開辟新的戰場，把傅作義的主力拖在平綏線，調動他們向歸綏轉移，使華北的敵人不出關、少出關。在進軍綏遠前，毛澤東語重心長地提醒楊成武說：“這不是當年在毛兒蓋過草地，那個時候你帶一個團，不過2000人。現在是個兵團，四個縱隊，還有騎兵師、地方武裝、上萬的民工。10多萬人都要吃飯呀，能說沒有困難嗎？”毛澤東隨即給楊成武發出四點指示：第一，要有充分的思想準備。要把可能遇到的困難想夠想透，根據存在的困難，依靠群眾，想出如何對付的辦法。第二，要做好充分的物資準備。抓緊武器、彈藥的補充，要把解決吃飯問題當作能不能站住腳的最大的問題來抓。第三，就是要首戰必勝。第一仗要把集寧那個師消滅，然後從集寧由東向西同時進軍，占領包頭，把綏東、綏南、綏北都占領了，隻留下一個歸綏，那我們的軍隊就站住腳了。第四，全體指戰員都要學會做群眾工作，宣傳黨的政策、黨的主張。
綏遠是蒙、漢、回、滿、藏等民族聚居地區，是傅作義苦心經營二十多年的老窩。第3兵團進軍綏遠這一突然行動，不僅使傅作義驚恐不已，蔣介石驚慌失措，就連國民黨的靠山美帝國主義也感到勢態嚴重。美聯社驚呼這是一個“絞殺性的進攻”。楊成武出師塞北，連克集寧、豐鎮、涼城、和林、清水河、興和、陶林等城鎮，控製了豐鎮以北到歸綏以東的平綏線，後又攻下包頭、大同，並圍困歸綏。傅作義部後院起火，疲於西援、東調，手忙腳亂。傅作義盡管手握60餘萬重兵，對於東北我軍展開的淩厲攻勢，卻無暇旁顧，有力地配合了遼沈戰役的順利進行。
第3兵團勝利地完成了進軍綏遠的作戰任務後，回師參加平津戰役，並首先配合進關的東北野戰軍第4縱隊進行了張家口圍殲戰，殲滅敵11兵團五個師、兩個騎兵旅，共6.5萬餘人，解放了察哈爾省的首府——張家口市。1948年11月1日，為了適應戰爭形勢發展的需要，中央軍委對人民解放軍進行了統一整編，第3兵團改稱第20兵團，楊成武任兵團司令員，李天煥為兵團政治委員。12月28日，接到平津戰役前線總前委林彪、羅榮桓、聶榮臻來電，第20兵團向東進至北平郊區，參加包圍並和平解放北平的作戰。平律戰役結束後，遵照中央軍委指示，第20兵團於3月12日揮戈南下，將旌旗指向太原，和第18、19兩個兄弟兵團會合，參與太原戰役。
太原是閻錫山精心構築的反共堡壘，他在太原及其附近修築了大大小小的碉堡5000多個，把太原變成了縱橫交錯的堡壘地帶，守備太原的總兵力共約84000餘人。整個太原戰役由徐向前指揮，並由他任司令員兼政委，周士第為副司令員，羅瑞卿為副政委，楊成武、周士第、楊得誌、羅瑞卿、陳漫遠、胡耀邦、李天煥等是總前委委員，參與指揮工作。彭德懷在總攻時刻指揮了戰役。在解放太原戰役中，第20兵團並會同第19師（西北野戰軍第7軍的一個師）擔任北麵、西北麵、東北麵地區的作戰任務。為了策應全國戰場形勢，解放軍最先采取了圍困、瓦解和攻擊相結合的方針，對太原圍而不打，一打則幹淨利落消滅敵人。第20兵團第119師巧妙地攻取了太原外圍最重要的據點——臥虎山，活捉敵第19軍軍長曹國忠，閻錫山吹噓臥虎山這個“共軍三個軍一個月也攻不下的要塞”，被第20兵團1個師在10個小時之內就解決了，為總攻太原市區創造了十分有利的條件。解放太原是整個解放戰爭中圍城時間最長的一個戰役，也是華北最後解放的一座堡壘，1949年4月24日晨，經過九個月的圍困和外圍作戰，第18兵團從東麵進攻，第19兵團從南麵進攻，第20兵團從北麵進攻，三個兵團數十萬大軍對太原城發起了總攻。到上午10時，戰鬥基本結束，殲敵一個綏靖公署、兩個兵團部、一個省保安司令部、六個軍部、十六個步兵師、三個特種師，共7.2萬餘人。除閻錫山逃往南京外，國民黨軍頭目孫楚、王靖國等均被我軍俘虜。雙手沾滿了中國人民鮮血的日本侵略軍今村中將、岩田少將以下500餘日寇也是在太原戰役中被消滅的。太原戰役是解放戰爭中最為殘酷的戰役之一，是一個典型的陣地攻堅戰。在這場艱苦卓絕的攻堅戰中，解放軍也傷亡4萬餘人。
取得太原戰役勝利後，楊成武率第20兵團北上，兵臨大同，迫使大同守軍國民黨軍第275師等部1萬餘人宣布起義。楊成武率部暫駐大同、包頭，準備向寧夏、甘肅方向進軍。不久接到軍委急電，命令第20兵團轉向北平、天津、唐山、秦皇島等地布防，防止敵人從海上的突然襲擊，保衛北平，保衛全國政治協商會議和開國大典的隆重舉行，楊成武還兼任天津警備司令、閱兵副總指揮等職，參與開國大典和開國大典閱兵式的組織工作。1950年7月，第20兵團建製撤銷，楊成武任京津衛戍區副司令員、天津警備區司令員、華北軍區黨委書記。