1938年5月7日，徐向前率路東縱隊經過10餘天的行軍，到達冀南重鎮南宮。組建了包括陳再道、宋任窮、劉誌堅等人的指揮機構，統一領導冀南的八路軍部隊。
部隊首戰威縣，使日軍清水、高橋所部，及偽軍高德林部，先後從威縣、臨清撤出，相繼逃往邢台，威縣被八路軍收複。但盤踞在南宮一帶的封建會道門組織六離會，被反動地主和漢奸控製，與八路軍為敵。
六離會為八卦教的一個分支，從清朝開始曾在山東、河北、河南等地分立獨立教派，南宮一帶的六離會同其他地區的一柱香離卦教、義和門離卦教均屬離教派，因“離”屬八卦之六位，象征火，故六離會的信徒崇尚火紅。六離會頭頭李耀庭是南宮人，青年時考入保定武備學堂，畢業後投身北洋軍閥吳佩孚麾下，當過中將旅長。蘆溝橋事變後，投靠日本侵略者，是個鐵杆漢奸。六離會號稱5萬之眾，除少數骨幹分子外，絕大多數為受愚弄的農民百姓。
徐向前針對受蒙蔽群眾是絕大多數的特點，提出了“三分軍事，七分政治”的原則。扣留了大漢奸李耀庭，並邀請小屯六離會會長宋印亭來南宮談判。
為打擊反動頭子的囂張氣焰，徐向前派部隊攻占小屯，奪回電台、馬匹和被俘的戰士。對殘害八路軍幹部的六離會骨幹分子宋殿元，當眾宣布死刑，就地槍決。
六離會決心與八路軍對抗到底。5月16日，六離會在南宮東南方向的張馬、甘狼一帶，糾集1萬多人，揚言要打下南宮城，把八路軍趕回太行山。這群紅色波浪一浪接一浪地向前滾動。
徐向前為減少對方傷亡，爭取喚醒被蒙騙的群眾，采取了西方古戰場上常見的方隊防禦戰法，一個連或一個營為一個方隊，待六離會衝來時，瞄準其進攻的大小頭頭，槍炮齊鳴，將他們擊退，並不追殺。經過幾個回合的較量，六離會成員眼看“刀槍不入”是騙人的假話，活著的狼狽潰散。
地政府與八路軍在孫村召開萬人大會，宣布取締六離會組織。接著召開宣判大會，處決了大漢奸李耀庭，反動首領高大奎等人。經過兩個多月的工作，南宮、冀縣、棗強、衡水地區的抗日根據地連成一片。
日寇侵占冀南以後，冀南平原群雄四起。有槍就是草頭王，各色雜牌武裝，遍布冀南30多個市縣的村、鄉和城鎮。這些部隊有的與中共和八路軍為敵，有的也東一槍，西一槍地打日本鬼子，也有在老百姓中稱王稱霸。還有投靠日軍組織起各種偽軍、漢奸部隊，向八路軍進攻。
徐向前等人決定，對各式抗日武裝，采取分化、收編的方針；對偽軍采取軍事打擊與政治瓦解並重的方針。在八路軍的強大攻勢下，冀南的偽軍紛紛攜槍棄暗投明，整連整營的倒戈反正達3000多人。
此時，中共中央發出了關於對冀南的雜色武裝，“必須設法改造或收編，以免被日寇及其他人利用”的指示。徐向前等人經過研究後提出：凡屬不願投降，不甘為日寇驅使，而願意同八路軍共同抗日，及自願參加共同抗日者，應一律歡迎並予以下列保證：
與八路軍主力部隊同等待遇，一視同仁；不繳槍；不改編，保持其原有幹部和編製；幫助其進步。這些原則在冀南地區雜色武裝中產生了很大震動，加速了改編工作的進展。
“青年抗日義勇軍”，是一支較大的雜色武裝，有6000多人，司令段海洲是地主出身的大學生，國民黨員，其骨幹多為舊軍人和土匪。徐向前等來冀南後，他先後拜訪徐向前等，對中共和八路軍團結、收編抗日武裝的方針原則表示讚同，對他的隊伍，隻是把名字改了一下，稱“八路軍青年抗日遊擊縱隊”。他回去就把大隊人馬拉到南宮以西的一塊空地上，宣布接受八路軍的改編。他當司令員，八路軍派李聚奎當政治委員。
在艱苦的抗戰中，這支隊伍許多人成為抗日英才，隻有少數舊軍官和土匪，陸續開了小差。這支部隊最後改編為新4旅，成為抗戰中的一支勁旅。
另有一支隊伍，名叫“民眾抗日自衛軍”，共3000多人。司令趙輝樓是河北寧晉縣人，舊軍官出身，有愛國思想。在孫繼先、胥光義挺進支隊進入冀南時，他就接受了改編，活動在束鹿、寧晉、槁城及石家莊地區。徐向前等到冀南後，趙派他的政治部主任，中共黨員趙月舫來到南宮，要求正式改編。
徐向前和宋任窮等商議後，將其改編為八路軍冀豫抗日遊擊支隊，下設3個團，趙輝樓任司令員，趙月舫任政治委員。
同時打擊雜色武裝中的頑固派。棗強縣有個楊玉昆，自稱忠義救國軍，暗中與日寇勾結。在他盤踞的縣城裏，不準八路軍去籌款籌糧，隨意扣押八路軍人員。徐向前同劉誌堅一起，帶領769團出擊，把這個人先抓起來送往太行山，並收編了城裏的部隊。
這一打一改，震動冀南。僅兩個多月，在方圓20多個縣裏，大小幾十股雜色武裝，先後加入了八路軍的行列，部隊擴展到1.85萬人，擁有1.15萬支槍。分編為18個團及支隊。
山東素稱齊魯大地，位於太行山以東，它是聯結華北、華中和東北的樞紐。是曆代兵家必爭之地。中共對這一戰略要地非常重視，1938年8月，張經武、黎玉奉命離開延安，帶160多名幹部到山東開創抗日根據地。10月下旬經冀南到徐向前的指揮部，徐向前在南宮同張、黎交換了意見，對山東如何開展遊擊戰爭談了自己的看法，還抽調1個營的兵力，跟隨他們去開展鬥爭。
1938年5月，徐向前根據毛X東的指示，與陳再道、宋任窮提出，組織一個縱隊挺進膠濟鐵路南活動的方案，得到劉伯承、鄧X平的讚同。後來改為出兵冀魯邊。徐向前派省委宣傳部長馬國瑞率曾國華、孫繼先兩支隊伍出兵天津以南，黃河故道以北的地域。
徐向前為馬國瑞送行時說：“你帶第5支隊和津浦支隊到冀魯邊一帶，開辟冀魯邊區的工作，戰略上以樂陵為中心，先向北發展，建立浦南政權，然後向南發展，搞黃河以北的魯北一帶，與清河區打通。
與此同時，第115師第343旅由肖華率領也挺進山東，稱八路軍東進抗日挺進縱隊，在冀魯邊平原地帶進行根據地建設。稍後，由第115師代師長陳X、政治委員羅榮桓，率師部及685團挺進山東南部，進行根據地建設。
這些隊伍到1939年夏，得到了很大的發展，兵力達7萬多人。其中由張經武任縱隊總指揮、黎玉任政治委員的八路軍山東縱隊，下轄8個支隊，活躍在魯中、魯南及膠東地區，兵力達4萬餘人。
由115師343旅、129師津浦支隊為基礎，組成的八路軍東進抗日挺進縱隊，由肖華任司令員兼政治委員，開創了冀魯邊平原根據地，控製了15個縣的地域，兵力達2萬多人。
由代師長陳X和政治委員羅榮桓所率師師部及685團，與地方武裝合編為蘇魯豫抗日支隊，兵力達8000多人。開創了蘇魯豫邊根據地。
根據中央決定，賀龍、關向應決定率358旅716團、715團兩個營和獨立一支隊赴冀中。1938年12月22日，賀龍、關向應率部從嵐縣出發，向冀中挺進。
日軍自1938年攻占武漢後，即將敵後變成中國抗戰的主要戰場之一。從11月12日到12月9日，日軍調集重兵分4路向冀中合圍。呂正操指揮部隊日夜與日軍激戰，1個月竟作戰29次。正在雙方激烈交鋒之際，賀龍、關向應率第120師主力到達冀中。