李世農到無為後，先與張愷帆、桂蓬等取得聯係，然後著手恢複和建立無為一帶的黨組織，在無為江壩鄉冒新村胡家瓦屋正式成立了中共皖中工作委員會，簡稱皖中工委。李世農任工委書記，桂蓬和張愷帆分別任工委委員。皖中工委工作地區包括和縣、含山、舒城、廬江、無為、巢縣、桐城等縣，工作的中心任務是從事恢複地方黨組織和組織抗日武裝鬥爭。
在皖中工委的直接幫助指導下，中共無為縣委重新建立並開展活動。其他各縣黨的組織也迅速建立起來。此間，周恩來派陳家康執行任務路過無為，傳達了周恩來關於開展武裝鬥爭的指示。李世農等根據周恩來的指示，先後在無為、廬江、舒城3縣已有黨組織的地方，開始建立抗日遊擊隊。南京、蕪湖淪陷後，國民黨軍隊紛紛潰退，一些散兵流落無為。李世農等人決定收容這些散兵，組織抗日武裝。於是，“無為縣國民自衛總隊”在胡家瓦屋成立，被群眾稱為“胡家兵”。不久，又建立了無為縣第一支黨領導的抗日武裝——“無為縣國民自衛分隊”。這支隊伍不斷發展壯大後，被整編命名為“新四軍第四支隊無為二中隊”，成為活躍在無為的一支影響很大、戰鬥力很強的部隊。
1938年4月，中共安徽省工委成立，彭康任書記，李世農任組織部長，張勁夫任宣傳部長，譚光廷任軍事部長，委員有喻屏、黃岩、曹雲露、鄭維孝等。工委隸屬長江局，下轄壽縣中心縣委、太湖中心縣委、嶽西中心縣委、舒城中心縣委、立煌縣委、鳳台縣委，以及霍山縣工委、滁縣特支、皖六專署特別支部。
8月，根據中共中央的指示，長江局決定成立中共皖東工作委員會，劉順元任書記，李世農任組織部長。皖東工委成立後，在新四軍第四支隊的配合下，大力開展黨的工作，到1939年4月，黨的活動由巢縣發展到含山、和縣、全椒、定遠、鳳陽、滁縣、壽縣等地，半年之內發展黨員800餘名。此外，皖東工委還協助新四軍主力部隊，組織民運工作團、隊，以軍隊名義吸收知識青年開展民運工作；指導皖東各縣民眾動員委員會民眾抗日團體，發動工、農、青、婦、學各界群眾參加抗日活動；開展統一戰線活動，開辦抗日骨幹訓練班。期間，李世農和劉順元到巢縣，利用同馬忍言（即馮宏謙，為馮玉祥的侄子、巢縣縣長）的統戰關係，以民眾動員委員會的名義，開辦了青年抗日訓練班，每期訓練學員100餘人，共舉辦3期。他們在學員中個別發展黨員，學員結業後即派到各地，成為動員和組織民眾進行抗日的骨幹力量。
1939年4月下旬，中原局將皖東工委改為蘇皖省委，劉順元為書記，李世農為省委委員、組織部長。蘇皖省委成立後，黨的工作迅速擴展。1939年7月，以李世農為書記的中共津浦路東工委成立，在皖東津浦路東地區發動群眾，建立黨組織。李世農帶領一部分民運幹部隨第五支隊第八團第三營過津浦路到達嘉山、來安地區，發動群眾，開展黨建工作。在部隊和民運組的配合下，路東工委先後在嘉山、天長、盱眙、六合等縣，建立了縣一級組織。此外，李世農還帶領路東工委幫助各縣做好民運工作，發動群眾成立不脫產的抗日武裝。就這樣，經過兩個多月的連續作戰和發動群眾，打開了路東抗戰局麵，開辟了以來安縣半塔集為中心的津浦路東抗日遊擊根據地。
1939年11月底，中共中央中原局書記劉少奇（化名胡服）率徐海東和中原局機關到達皖東定遠縣藕塘附近的新四軍江北指揮部，直接領導皖東的抗日鬥爭。為適應鬥爭形勢的需要，1940年1月，中原局決定撤銷蘇皖省委，以津浦鐵路為界，分別成立津浦路東省委和津浦路西省委。路東省委領導津浦鐵路以東，運河以西，淮河以南，長江以北廣大地區。李世農任津浦路東省委委員、組織部長兼高郵縣委書記。路東省委成立後，各項工作有了新的起色。至年底，所轄地區的縣級黨組織基本上都建立健全了起來。
1941年5月，中共中央華東局決定，津浦路東省委改稱津浦路東區黨委。書記劉順元，委員方毅、李世農、祁式潛，下轄盱眙、嘉山、天長、來安、儀征、六合、高郵、冶山縣委和第一直屬區委及湖西、水南工委。路東區黨委積極加強黨的基層組織建設，大批積極分子被吸收加入黨的組織。
1943年2月，華中局決定成立中共淮南蘇皖邊區委員會（簡稱“淮南區黨委”），譚震林任書記，劉順元任副書記。區黨委下轄路東、路西兩個地委，路東地委書記先後為趙啟民、陳光、李世農，路西地委書記先後為譚希林、趙啟民、黃岩。根據中共中央決定和華中局、淮南區黨委指示，路東地委從1943年5月開始在全區繼續進行整風學習。李世農要求黨員、幹部除部分到華中黨校、淮南區黨委黨校以及各級黨訓班、整風隊進行整風學習外，領導機關要帶頭深入實際，大興調查研究，改進工作作風。他本人更是嚴於律己，率先垂範。
1944年6月，路東軍分區重新組建，羅占雲任司令員，路東地委書記李世農兼任政治委員。軍分區下轄來六、盱嘉、天高、東南、甘泉5個支隊。
從1943年下半年至1945年8月，路東地方武裝在李世農和羅占雲的領導下，在二師主力部隊全部在路西堅持對敵鬥爭的情況下，積極開展攻勢作戰，拔除路東各縣的日偽據點，3次攻入盱眙縣城，擴大了根據地，縮小了敵占區。部隊也由初建時期的1000多人，逐步發展成為近萬人的強大地方兵團，作戰方式也從配合主力作戰逐步發展到獨立作戰，取得了一係列勝利，堅持和鞏固了路東根據地，完成了保衛華中局、新四軍軍部及淮南區黨政軍機關的任務。
為適應開展反攻作戰的需要，1945年8月17日淮南獨立旅成立，以路東軍分區機關為主組成了獨立旅機關。獨立旅成立後，各縣的地方武裝仍由路東軍分區領導，分區司令員朱雲謙，政委由李世農兼任。路東地方武裝除積極配合主力作戰以外，還根據形勢的發展，積極配合地方政府做偽軍和偽政權的分化瓦解、起義策反等工作。
重返淮南
1945年10月，淮南區黨委領導成員作了調整，肖望東任區黨委書記，李世農任副書記兼中共華中第三軍分區政委。淮南所轄路東、路西兩地委分別改為中共華中第三、第四地委，李世農、黃岩分別兼任書記。1946年5月中旬，國民黨軍隊調集重兵向淮南津浦路西解放區大舉進犯，淮南軍民迅速開展了保衛淮南解放區的鬥爭。但因敵強我弱，遵照華中分局的指示，淮南主力部隊奉命北撤。
為了打擊國民黨軍的囂張氣焰，1946年12月23日，華中分局決定分別成立淮南工委和淮北工委，重返淮南、淮北，恢複遊擊戰爭。1947年3月下旬，華東局作出決定，淮南工委盡快返回淮南直接領導這一地區的遊擊戰爭，並任命李世農為工委書記。同時決定成立淮南支隊，楊效椿任支隊司令員，李世農兼任支隊政委，魏然任支隊副司令員，徐速之任政治部主任，張百鍔任參謀長。7月上旬，李世農、魏然率部進入淮寶，與淮南第二支隊和楊效椿支隊會師，合編成淮南支隊。從此，淮南工委及淮南支隊依托淮寶和洪澤湖，積極開展恢複了淮南解放區的鬥爭。
1947年8月4日，李世農、楊效椿率領淮南支隊一部越過三河，西進盱（眙）鳳（陽）嘉（山）地區，攻克錢家嘴、紫陽、潘村、小柳巷、石家巷等地。隨後又在古沛擊退國民黨軍第七十四師兩個連及一個保安中隊，收複了盱鳳嘉地區。9月下旬，恢複建立了盱鳳嘉縣委和縣政府。
為了適應解放戰爭形勢發展的需要，中央軍委、華東局、華東軍區決定在東起運河、西至津浦與淮南鐵路、南抵長江、北達隴海鐵路的廣大區域內，成立中共江淮區黨委和江淮軍區。6 月4 日，江淮區黨委在泗南縣張塘（現屬泗洪縣）正式成立，李世農任區黨委副書記兼組織部長。江淮區黨委的重點工作是積極組織全區黨政軍民行動起來全力支援淮海戰役。區黨委成立後，積極指導各地進行土改和恢複發展生產，所屬地區的生產迅速恢複，不僅群眾生活得到改善，還為支援淮海戰役提供了重要的物資保證。
6月初，江淮區黨委決定，開辦“江淮幹部訓練班”，對首批從蘇北轉移的800名縣、區、鄉級幹部進行集訓，以適應戰爭形勢的需要。6月底，為擴大幹部隊伍和開辟解放區做好人才準備，江淮區黨委決定在原幹訓班的基礎上創建“抗大”式“江淮公學”，校長由李世農兼任。