解放戰爭時期，根據中共中央的戰略意圖，陸續抽調大量晉察冀部隊和幹部支援東北戰場。1946年8月，組織大同、集寧戰役，殲敵一萬二千多人。10月，指揮保衛張家口戰役，殲敵一萬多人。1947年4月指揮正太戰役，以大踏步進退的行動，集中優勢兵力，擊敵薄弱環節，殲國民黨軍三萬五千餘人，攻克正太鐵路沿線七城及井陘等重要礦區，使晉察冀與晉冀魯豫解放區連成一片。同年11月，在取得清風店戰役勝利後，又組織晉察冀野戰軍乘勝發起石家莊戰役，創攻克堅固設防大城市的範例。1948年5月任華北軍區司令員。12月，以華北部隊為主，先後解放新保安、張家口，殲敵七萬三千多人。1949年1月，根據中共中央決定，與林彪、羅榮桓組成平津前線總前委，指揮平津戰役。2月，兼任平津衛戍司令員，9月任北平市市長兼軍管會主任。10月，任人民解放軍副總參謀長。
1950年初，任人民解放軍代總參謀長。協助中央軍委領導人部署人民解放軍繼續解放西南地區、解放東南沿海島嶼、清剿國民黨軍殘餘武裝和土匪。參與抗美援朝的組織工作。為人民解放軍實行精簡整編，組建各軍種、兵種領導機構和軍事院校，製訂軍事條令、條例做了大量工作。1953年2月，任全軍軍銜實施委員會主任。1954年任中央人民政府人民革命軍事委員會副主席，分工主管軍隊武器裝備和軍工生產工作。1955年7月，任原子能事業三人領導小組成員。9月，被授予中華人民共和國元帥軍銜和一級八一勳章、一級獨立自由勳章、一級解放勳章。1956年11月任國務院副總理，主管科學技術工作。1958年6月，任中央科學小組組長。10月，兼任國防科學技術委員會主任。11月兼任中華人民共和國科學技術委員會主任。1959年任中共中央軍委副主席，主管尖端武器的研製工作。領導科技攻關，組織全國大協作，僅用五年時間就研製成功多種導彈和原子彈，不久又研製成功氫彈，並在研製常規武器和民用科研項目方麵取得顯著成果。他在領導科學技術工作中，堅持貫徹群眾路線和以自力更生為主、爭取外援為輔的方針，重視和關心知識分子，調動和發揮科技人員的積極性和創造性，推動了科技事業的不斷發展。在“文化大革命”中，他與林彪、江青反革命集團進行了堅決鬥爭。1969年夏，受毛澤東、周恩來委托，在陳毅主持下，與葉劍英、徐向前等一起，全麵深入地研究了國際形勢，為打開對外工作的新局麵提出了戰略性的意見和建議。1976年9月21日，向葉劍英提議，用斷然措施解決“四人幫”的問題。10月6日，“四人幫”反革命集團被一舉粉碎。他是中共第八屆至第十二屆中央委員，第八屆（十一中全會補選）、第十一屆和第十二屆中央政治局委員，第四屆、第五屆全國人大常委會副委員長。1980年7月，開始撰寫回憶錄。8月，寫信給中央，提出辭去人大常委會副委員長職務。1983年6月至1988年4月任中華人民共和國中央軍事委員會副主席。1985年8月，寫信給黨中央，因年高體弱，請求退出中央委員會。1987年11月，在中共第十三次全國代表大會上辭去黨內外一切職務。
1992年5月14日，聶榮臻在北京逝世。享年九十三歲。他是十位元帥中最後一位辭世的元帥。