當時的晉西特委，實際上就那麼七八個人。但在馬佩勳的領導下，每個人都像一把火炬，走到哪裏就把抗日的烈火點燃到哪裏，當地的群眾就很快被發動起來，組織起來，支前、參戰的熱潮也就高漲起來。時間不長，他們幫助八路軍一一五師陳支隊擴建了一團、二團，還在汾孝一帶組建了八路軍晉西遊擊支隊，由他自任政委。1938年5月，中共晉西南省委建立（後改為區黨委），晉西特委撤銷，晉西遊擊支隊合並到了陳支隊，馬佩勳又擔任了陳支隊二團的政委。1939年12月，晉西事變爆發，部隊向晉西北轉移，馬佩勳奉命率決死二縱隊一個營護送六專署千餘後方人員轉移太嶽區，任務完成後奉命將所帶部隊和二縱隊零散人員、六專署警衛部隊整編為太嶽區一縱隊四十二團，馬佩勳任團政委。1940年夏，新軍二一二旅的幹部戰士受流行性疾病感染，生活艱難，醫藥短缺，加之敵人暗中破壞，疾病不斷蔓延，患病人數達半數以上，情況相當嚴重。這時，太嶽區黨委又派馬佩勳前去二一二旅任政委，整頓部隊，純潔組織，克服疾病，搞好生活、生產，增強部隊戰鬥力，配合百團大戰。馬佩勳同誌不辱使命，一到二一二旅，立即以改善生活、醫治疾病、與破壞分子作鬥爭為中心，進行了全旅總動員，不僅很快解決了部隊急需的藥品和糧食問題，而且有理、有利、有節地開展了與中央軍劉崎所部、閻錫山趙石嶺軍、六十一軍的鬥爭，配合八路軍三八六旅取得了對日作戰的勝利，開辟了嶽南根據地，相繼建立了太嶽四分區、三分區，馬佩勳又兼任了三分區司令員，後調任二地委擔任書記。
調動頻，工作忙，更加促使馬佩勳抓緊學習。他說：“幹革命，就要堅持不斷學習！”除了平時堅持調查研究，向群眾學、向戰爭學、向工作實踐學習外，1940年，他先後在北方局接受了4個月的政治訓練，在黨校學習了4個月政治理論；1943年8月，作為“七大”代表去延安出席“七大”後，又進延安黨校參加了一年半的整風學習，使他的理論修養、政策水平等各方麵都有了長足的進步。正因為此，馬佩勳在這樣一個抗戰即將勝利，解放戰爭迅速展開的時候，擔負了一個比一個更重的擔子，開辟了一個又一個的新區。
1945年6月，馬佩勳奉調到呂梁軍區任副司令員，開辟晉西南工作。不久成立七分區，他擔任分區司令員、政委、七地委書記；1947年7月，成立九分區，他又奉調任分區政委，九地委書記；1949年2月，改任臨汾軍區司令員，後成立晉南中心分區，他又任中心分區司令員。
這個時期，在建軍、建政、土改等方麵，馬佩勳都作出了出色的成績。特別是當他奉調九分區時，正是晉綏“三查”整黨和開展“土改”運動的時期，一些地方犯了鬥爭“擴大化”、打擊一大片和尾巴主義的錯誤，而九分區在地委書記馬佩勳的領導下，卻自始自始至終堅持按黨的政策辦事，“三查”整黨堅持了批評與自我批評，堅持了對幹部重在教育的方針，對犯錯誤的幹部給予改正錯誤的機會；農村“土改”則堅定地加強了黨的領導，嚴格了各級審批製度，堅持了有錯必糾的原則，打擊麵很小。因此，這個時期九分區的工作各方麵都有了很大的發展。
“幹革命，不是為了當官。”
1949年10月1日，新中國建立。但是，馬佩勳沒有回家，他也顧不得回家。他擔任了中共山西省委、省政府委員、省勞動局局長，不久又調任山西省總工會主席。他說：“新中國成立了，勞苦大眾翻身解放了，但是，要建立幸福美滿的新生活，建設獨立富強的新中國，都是十分艱難的。”他覺得：搞工業建設不同於帶兵打仗，自己沒有經驗，加上自己理論文化水平低，前進的道路困難重重。但他不肯退縮，他要繼續奮鬥，果斷地向組織提出了要求學習的申請。不久，他進了全總幹校，一學就是一年時間。抓住了這個難得的機會，一個隻讀過4年私塾的學生，刻苦地鑽進了文化、理論知識的海洋，對於一個已年近半百的人，實屬不易。