1940年3月，國民黨安徽省政府主席兼第十一集團軍總司令李品仙所部，圍攻津浦路西的中原局、新四軍江北指揮部及四支隊。羅炳輝率部從路東到路西支援反擊敵軍，取得西線反頑勝利。國民黨江蘇省政府主席兼魯蘇戰區副總司令韓德勤，趁西線激戰時，偷襲路東五支隊的根據地半塔集。羅炳輝采取守點打援戰術，率五支隊從路西返回路東，圍殲進犯半塔集的頑軍，取得半塔保衛戰勝利，創造了守點打援的經驗。至8月，淮南抗日民主根據地初步建立起來，來安、嘉山、盱眙、天長、高郵、寶應、六合、儀征等各縣抗日民主政權相繼建立。8月率領五支隊主力渡過三河，擊潰了韓德勤所部頑軍，開辟了淮寶根據地，並平息了該地區“刀會”的叛亂。淮寶根據地的建立，打通了新四軍進一步東進的通道，並成為把淮北、淮南、淮海、蘇中、鹽阜幾塊根據地聯係起來的紐帶。此後數月，又率部粉碎了日偽軍萬餘人對淮南抗日根據地的掃蕩。
1941年1月江北指揮部副指揮羅炳輝帶領四、五支隊和地方武裝、民兵舉行比武大會。1月14日皖南事變發生後。羅炳輝與陳毅等7位新四軍將領聯名致電蔣介石，要求其解除對新四軍的包圍，嚴懲禍首，保障我軍安全。
1月25日新四軍新軍部在蘇北鹽城成立，下轄7個師，羅炳輝任二師副師長。二師下轄第五、六、七旅。5月淮南區黨委成立，羅炳輝為委員。抗大第八分校在天長縣成立，羅炳輝任副校長。至1945年8月該校共辦學4期，培訓幹部3000餘人。在此前後至1942年上半年的反掃蕩、反頑作戰中，羅炳輝創造了“梅花樁戰術”，並指揮部隊廣泛采用了近戰、夜戰、殲滅戰戰術，先後取得了大橋、新張家、赫郎廟等戰役的勝利。1942年劉少奇在華中局擴大會議總結報告中指出，“梅花樁是一種新的戰術，羅炳輝同誌在這方麵的發明努力是一個模範。”1942年秋參加整風運動學習。11月指揮部隊支援反擊桂頑對路西根據地的進攻。
1943年2月任新四軍二師師長兼淮南軍區司令員。4月盟日在《淮南黨刊》第12期刊載《開展部隊機關的生產運動》一文，號召深化淮南的大生產運動。9月李晶仙所部頑軍搶占路西界牌集，羅炳輝率二師師直野戰司令部赴路西指揮反擊戰。至11月底取得反擊戰勝利。11月撰寫並出版《碉堡作戰》。
1944年5月此前，羅炳輝曾數次出現暈倒。5月8日大病不起，入軍衛生部莊醫院治療，曆時100餘天。後新四軍軍部再批準他休養3個月。休養中，開始口述，讓參謀陳慕誠幫助撰寫紅九軍團擔任後衛的戰鬥曆程。
1945年4月二師主力在譚震林帶領下，赴路西反頑作戰。日軍乘機派出3刪除人掃蕩路東根據地。羅炳輝抱病指揮了路東的反掃蕩，曆時月餘。7月羅炳輝病情反複發作，下旬，到師部大郢北高峰腳下一片槐樹林中休養。8月15日日本宣布五條件投降。隨後，華中局和新四軍軍部根據中共中央指示，發布《新四軍布告》，其中公布了江蘇、安徽、浙江、湖北的省主席和南京、上海、武漢三市市長名單，羅炳輝被宣布任安徽省主席。隨即，羅炳輝抱病指揮消滅拒絕投降的日偽軍，先後收複了來安、定遠、盱眙、嘉山、六合、天長等縣城，部分控製津浦鐵路。至9月日本投降，淮南解放區達17個縣，人口330萬，麵積2萬多平方公裏。新四軍二師兵力由成立時的新四軍五支隊3100餘人，發展到35000人，地方部隊15000人，民兵200000人。10月率二師師部及第四、五旅告別淮南北上山東。在淮北宿遷與四師九旅合編為山東野戰軍第二縱隊，羅炳輝任司令員。部隊進至魯南。11月被蔣介石收編的日偽軍吳化文部北犯解放區。羅炳輝率第二縱隊，參加伏擊該敵，取得魯南自衛戰的首次大捷，接著又取得臨韓戰役勝利。12月27日離職到臨沂治病。韋國清接任司令員。