第二野戰軍由中原野戰軍發展而來，中原野戰軍的前身是晉冀魯豫野戰軍，由赫赫有名的八路軍第129師和地方武裝組建而成。這支後來成為解放戰爭五大主力之一的部隊，在蔣介石向共產黨人發起挑戰之際，恰好處於解放區的前沿——晉冀魯豫地區。
129師揮師太行
中國工農紅軍改編為國民革命軍第八路軍後，由朱德任總指揮，彭德懷任副總指揮，葉劍英任參謀長，左權任副參謀長，任弼時任政治部主任，鄧小平任政治部副主任。
八路軍下轄三個主力師：115師、120師和129師。其中129師由原紅四方麵軍之紅四、紅31軍，陝北紅29、紅30軍，陝甘寧獨立一、二、三、四團及紅15軍騎兵團組成。129師的師長為劉伯承，副師長為徐向前，參謀長為倪誌亮，政訓處的正副主任分別為張浩和宋任窮。下轄兩個旅、一個教導團及五個營。後經部隊改編，115師和120師就先後開赴山西前線抗日，129師則奉命留守陝北。
抗日戰爭的炮聲震動全國，震撼了每一位愛國誌士的心。八路軍129師奉命出師華北，挺進晉冀魯豫邊區的位置，在津浦路至同蒲路及汾河、石德、石太路達隴海路及黃河之間，橫跨山西、河北、山東、河南四省共190餘縣的廣大區域。它以雄偉壯麗的太行山脈為界，西部是連綿起伏、溝壑縱橫的山嶽地帶；東部是一望無垠的千裏平原。平漢鐵路橫貫其間，它的戰略地位十分重要：向西，可聯係陝甘寧邊區和晉綏；向北，可協助晉冀魯豫邊區和冀中；向東，配合山東呼應華北；向南，可支援中原戰場。同時，太行、太嶽、中條等山脈和冀魯豫平原互為依托。部隊進退自如，便於回旋機動。所以抗日戰爭、解放戰爭時期，這裏都是敵我雙方激烈爭奪的戰略要地。
1937年抗日戰爭爆發後，八路軍129師在劉伯承、鄧小平的率領下，經過開辟與創建、堅持與鞏固、恢複與再發展三個階段，建立了以太行山為依托的晉冀魯豫抗日根據地。1941年7月18日，晉冀魯豫邊區政府正式成立，統一了全區的政權工作，推動了鬥爭形勢的發展。
晉冀魯豫邊區從1937年冬天開始創建，到1948年8月與晉察冀邊區合並，有著11年的光輝曆史。11年間，在這塊英雄的土地上，曾經曆了千萬次的浴血奮戰，粉碎了日本侵略者野蠻的掃蕩和蠶食，擊退了國民黨軍隊大規模的挑釁和進攻，消滅了數以百萬計的敵人，多少中華民族的優秀兒女流血犧牲，獻出了年輕的生命。他們和千千萬萬的死難烈士一樣，是我們中華民族的英魂和新中國的奠基者。
第二次國共內戰的序曲——上黨戰役
毛澤東曾高度讚揚上黨戰役的偉大曆史意義。他在《關於重慶談判》的講話中說：“現在有些地方的仗打得相當大，例如在山西的上黨區。太行山、太嶽山、中條山的中間，有一個腳盆，就是上黨區。在那個腳盆裏，有魚有肉，閻錫山派了13個師去搶。我們的方針也是老早定了的，就是針鋒相對，寸土必爭；這一回，我們‘對’了，‘爭’了，而且‘對’得很好，‘爭’得很好。就是說，把他們的13個師全部消滅。他們進攻的軍隊共計三萬八千人，我們出動三萬一千人。他們的三萬八千被消滅了三萬五千，逃掉兩千，散掉一千。這樣的仗，還要打下去。”
1945年8月15日中午，日本天皇裕仁以廣播“停戰詔書”的形式宣布投降。中國人民沉浸在歡慶勝利的喜悅當中。然而，在這背後卻已危機四伏——蔣介石再一次挑起了內戰。
抗日戰爭勝利後，蔣介石即調動國民黨軍隊向華北、華中、華南、東北各解放區進攻。其中，第二戰區司令長官閻錫山所部在搶占太原和同蒲路沿線城鎮。8月16日，閻錫山按蔣介石的密令，命令其第八集團軍副總司令兼第十九軍軍長史澤波率領第十九軍、第六十一軍的主力4個步兵師及1個挺進縱隊（相當於師），從臨汾、浮山、翼城侵入晉冀魯豫解放區心腹上黨地區。之後，又攻占八路軍攻占的襄垣、潞城，並在日偽軍配合下，搶占了被八路軍包圍的長治、長子、壺關、屯留等城，企圖侵占整個晉東南，消滅晉冀魯豫八路軍。
上黨，是山西省東南部以長治為中心的地區，自秦漢置郡以來就是晉東南的政治、經濟、文化、交通中心，它東控太行、西據太嶽，自古就是軍事要地。那裏地勢高，古人有“與天同黨”之說，所以稱上黨。
閻錫山占上黨，有著特殊的戰略意義。從整個戰局看，當時蔣介石正從其大後方西南、西北調動大軍向華北、華中、華南各解放區陸續開進。蔣介石率先在華北的行動，一個重要的目的，就是為了進而占據東北。閻錫山的這一步是蔣介石實現“搶占華北，爭奪東北”戰略部署的一個重要組成部分。從局部看，閻錫山企圖以一把刀子插入上黨，分割八路軍在太行、太嶽建立的兩個根據地，進而占領整個晉東南，然後把晉冀魯豫軍區主力逼到山區予以消滅，恢複其在山西的反動統治。
內戰的導火索不斷燃燒的同時，蔣介石又在一個月內三次電邀中共中央主席毛澤東赴重慶談判，企圖用“和平”手段，以共產黨人到國民黨政府中去“做官”為交換條件，讓中國共產黨交出軍隊和解放區政權，達到消滅革命力量的目的。這時的美國政府也改變了不讚成中國發生內戰的態度。
中國共產黨人的態度是堅持和平，反對內戰。毛澤東答應了蔣介石的邀請，準備飛赴重慶，參加國共談判。
為保衛抗戰勝利果實，配合重慶談判，晉冀魯豫軍區遵照中共中央軍委的指示，決定發動上黨戰役，堅決消滅來犯的國民黨軍。
當時在上黨前線的隻有參謀長李達一個人，劉伯承、鄧小平都在延安參加黨的七大。8月25日，劉伯承、鄧小平奉中共中央指示，從延安返回太行指揮上黨戰役。中共中央決定統一太行、太嶽、冀南、冀魯豫解放區的領導，組成了由鄧小平任書記、薄一波任副書記的中共中央晉冀魯豫中央局；成立了以劉伯承為司令員、鄧小平任政委，滕代遠、王宏坤為副司令員，薄一波任副政委，張際春任副政委兼政治部主任，李達任參謀長的晉冀魯豫軍區，統一領導太行、太嶽、冀南、冀魯豫4個區黨委和4個軍區。
同時，中央軍委向劉伯承、鄧小平、滕代遠下達關於晉冀魯豫的軍事部署：太行應集結主力，組織奪取白晉路，收複上黨區，消滅頑偽，逼敵降；太嶽應集結主力向同蒲路進擊，徹底破壞同蒲路，控製平陸、垣曲一帶黃河渡口。根據中共中央的指示，晉冀魯豫軍區決定徹底消滅侵占上黨地區的閻錫山部隊，並調整部署，將太行李達所部、太嶽謝富治部、冀南陳再道部等野戰主力部隊，暫編為太行、太嶽、冀南三縱隊，集結長治周圍，進行上黨戰役；將冀魯豫軍區主力調到平漢線，結合冀南、太行軍區各一部，負責肅清平漢線新鄉以北日偽軍，為打北上敵軍準備戰場；以太嶽軍區沿同蒲線的地方部隊加緊破路，遲阻敵軍前進，以太行、太嶽軍區各一部攻取焦作、沁陽等日偽主要據點，控製黃河北岸廣大地區，製止敵軍機動。
劉伯承、鄧小平和張際春等在進行戰前動員時，向集結待命的幹部戰士傳達了黨的第七次全國代表大會的精神。之後，鄧小平向參戰將士發出了“打好上黨戰役，支援毛澤東主席赴重慶談判”的號召。他指出：根本問題是抗戰勝利果實落誰手裏的問題，蔣介石、閻錫山伸手來搶絕不能讓他搶走。毛主席在赴重慶之前說過“隻有你們打得好，我才能談得好”。我們上黨戰役打得越好，殲滅敵人越徹底，毛主席就越安全，毛主席在談判桌上就越有力量。我們不要辜負黨中央和毛主席的期望。
接著，劉伯承說：“蔣介石的軍隊沿5條鐵路開進，5個爪子伸開向我們撲來了。人家的足球向我們華北解放區的大門踢過來了，我們要守住大門，保衛華北解放區，掩護我東北解放區戰略展開。平漢、同蒲是我們作戰的主要方向，但現在的問題是閻錫山侵占我上黨六城，在我們背上插一把刀子，芒刺在背，脊梁骨發涼，不拔掉這把刀子，心腹之患未除，怎麼放得下心分兵在平漢、同蒲去守大門呢？”
“為保衛勝利果實而戰”“為支援毛主席談判而戰”的口號激勵著廣大指戰員，他們紛紛宣誓堅決殲滅敵人、爭取戰役勝利，並以飽滿的革命熱情投入戰前練兵。
9月7日，劉伯承、鄧小平下達關於上黨戰役的第一號命令，規定以先占屯留吸引長治偽軍來援，爭取在長屯路上以運動戰而消滅之。八路軍參戰部隊共3.1萬餘人，另有5萬民兵配合。各參戰部隊於8月底、9月初向上黨地區開進。8月30日，劉伯承指揮八路軍第129師主力約9個團兵力，向襄垣發動進攻，並於9月1日攻克。9月6日，向屯留之敵發動進攻。9月7日和9日，參戰部隊先後集結長治地區，並編成太行、太嶽、冀南3個縱隊。
上黨戰役從9月6日正式打響，到10月12日結束，共經曆了三個階段。
第一階段，從9月10日至20日，為奪城打援階段。
9月10日，太行縱隊向屯留國民黨軍發動進攻，並於12日攻克，殲守城軍隊千餘人。太嶽縱隊、冀南縱隊隱蔽於長（治）屯（留）公路兩側，準備殲擊長治援兵；以太行軍區兩個團為獨立第一支隊，隱蔽於長治東北山地，準備尾擊長治出援之敵；以太行、太嶽軍區4個團為獨立第二支隊，監視長子之敵；以潞城獨立營為獨立第三支隊，監視潞城之敵。屯留攻克後，太嶽縱隊圍攻長子，太行、冀南縱隊在打長治援敵未成後，乃轉攻壺關和潞城。經激戰，至9月20日，各部分別攻克長子、壺關和潞城，戰役第一階段結束。在第一階段作戰中，共攻克襄垣、屯留、長子、壺關、潞城五城，殲滅長治外圍各據點國民黨軍暫三十八師等部6100眾人。