1938年春，日軍為了繼續擴大侵華戰爭，調集曾參加過淞滬戰爭的主力和駐華北重點地區的部分兵力，企圖占領徐州，打通津浦鐵路，因而減少了在華北的兵力。八路軍總部決定在冀、魯、豫平原開辟抗日根據地，同時配合國民黨軍隊在徐州一帶的抗戰。同年夏天，楊得誌率第344旅前往執行任務。他們所去的地方屬於冀魯豫三省邊區，這裏自古就是兵家必爭之地。著名的城濮之戰、楚漢戰爭、官渡之戰、朱仙鎮破金之戰、以及唐末的黃巢農民起義等都發生在這一帶。這裏對確保太行山，溝通山區與平原的聯係，扼止日軍的南下與西進，起著很大的作用。翻過太行山，越過平漢鐵路，剛受命代理旅長的楊得誌率100多人與在那裏的韓先楚部689團會合。一個月以後，楊得誌指揮的部隊就基本上肅清了平漢線以東、漳河以南、衛河兩岸近百裏地區以內的偽軍和土頑部隊，開辟了一大片根據地，建立了安陽、湯陰、內黃等縣抗日政權。
1939年2月初，楊得誌奉命再次率部挺進冀魯豫邊區，他們與當地的遊擊隊組編成八路軍冀魯豫支隊，不久，冀魯豫支隊便進行了一係列的戰鬥，取得了一次次勝利：他們對金鄉縣城的日本守軍進行了突然襲擊，打擊了日本侵略者的囂張氣焰；在金鄉縣的白浮圖，對日軍的一個汽車隊發起猛攻，將日軍趕跑；他們連克曹縣、定陶，殲滅了兩個縣城的反動武裝……看到八路軍敢打能勝，當地人民群眾深受鼓舞，不久便被發動起來了，出現了抗日的新局麵。當時，冀魯豫邊區日軍較少，而漢奸、頑固派、各式各樣的雜牌軍卻很多，土匪司令多如牛毛。為此，冀魯豫支隊在一段時間內把工作的重點放在了對付漢奸、土匪司令上。他們抓漢奸頭子，懲治那些民憤最大的反動分子，對那些被裹脅的貧苦農民和可以爭取的土匪強盜則盡力爭取，很快便擴大了抗日武裝，冀魯豫支隊也由最初的兩千人擴大到1．7萬人。
針對國民黨親日派搞摩擦，企圖把我軍擠走擠垮的陰謀，楊得誌采取了以“擠”對“擠”的策略，先後率部討伐了頑軍石友三、高樹勳和盧翼之部，打敗了丁樹本部，從而完全控製了冀魯豫邊區。中共中央北方局聞訊之後決定立即成立冀魯豫軍區，統一領導這一地區的抗日武裝，任命楊得誌為司令員，下轄直南、豫北、魯西南三個軍分區。楊得誌和他的戰友們終於打出了一片天地。
然而，更嚴峻的考驗很快到來了。1941年4月12日，日軍在從內黃到清豐、濮陽、浚縣、滑縣一帶的沙區（亦稱黃泛區）內開始了極其殘酷、瘋狂的大“掃蕩”。
一天，楊得誌指揮部隊即將打垮國民黨的“剿共第一軍”李英部時，預先隱蔽集結的日軍第35師團、獨立第1混成旅團和騎兵第4旅團各一部以及偽軍共約1萬多步、騎兵，在100多輛汽車、坦克和20餘門重炮的掩護下，分五路向沙區中心地區猛撲過來。時近黃昏，一望無際的黃泛區內，沙塵彌漫，遮天蔽日，日偽軍的坦克和汽車的隆隆聲穿透沙塵，越來越近。
突圍已經來不及了。楊得誌果斷地命令部隊先隱蔽在附近的棗樹林子裏。走在前麵的偽軍不敢貿然進入林子搜索，隻是停在原地等待日軍大部隊的到來。楊得誌在林中看到這一切，他迅速帶領部隊借助黑夜和大風的掩護，從兩路敵軍的中間穿插了出去。之後，他們又轉移到敵人守備空虛的地方，順利到達山東省範縣西北的觀城，突破了日軍的“鐵壁合圍”。這次大“掃蕩”，敵人幾乎是傾巢而出，楊得誌決定避實就虛，繞開敵人的主力，直搗敵人的老窩，逼敵分散兵力，然後在運動中殺傷敵軍。由於楊得誌的正確指揮，日軍來勢洶洶的大“掃蕩”，僅用9天的時間就被我軍粉碎了。日、偽頑軍被趕出了沙區。此後，冀魯豫軍區的軍民在楊得誌的領導下打得愈加有聲有色，他們先後痛擊了“蠶食”我根據地的頑軍孫良誠、杜淑、李仙洲部，多次粉碎日軍的“大掃蕩”。
1944年1月，根據黨中央的指示，楊得誌帶領冀魯豫軍區的主力離開戰鬥了7年多的華北和創建了5年多的冀魯豫邊區，行軍75天，行程2583華裏，翻過急流險溝，高山峻嶺，衝過日軍在平漢、同蒲鐵路設置的一道道封鎖線，勝利到達延安，楊得誌擔任了陝甘寧晉綏聯防軍教導第1旅旅長。1945年，他作為冀魯豫軍區的代表出席了黨的“七大”。