到了1946年的時候，彭桓武已經有資格受邀參加二戰後第一次世界基本粒子會議了，當美國造出原子彈震驚全球後，沒有哪個國家不把目光投入這一領域，而作為一個聲望在外的精英，彭桓武收到了多方邀約，開出的條件都優厚無比，足以讓他成為錦衣玉食的人上人。
但彭桓武拒絕了，在1947年時，他的選擇是，回到中國。
這個決定我們聽起來似乎並不奇怪，但在他周圍的人眼中，卻完全不能理解。
因為當時的新中國甚至還尚未建立，且不說多麼積貧積弱，以彭桓武的能力，即便他回到國內，他又要能做什麼研究呢？國家哪有那樣的條件供他做學術？
可是他還太年輕，留在國外，完全有機會在自己的領域取得更大、甚至震驚世界的成就。
不過彭桓武的回答非常簡單：
“...因為回國不需要理由，不回國才需要理由...”
而彼時的他剛剛收到自己已經入選愛爾蘭皇家科學院院士名單。
正式歸國後的一段時間內，彭桓武的確有些無所事事，直到1949年新中國建立後社會安定下來，急需開始發展自己的科技力量，彭桓武才和錢三強一起，被委派組建了中國近代物理研究所，開始壯大和培養我們自己的學術力量。
真正的難關出現在1960年，此時中國在毛主席和黨中央的指導下，正傾全國之力攻關原子彈，在艱難的時刻下，蘇聯援助是極為重要的，可是就在這個時候，中蘇關係的惡化讓全部專家撤離，核心技術也被封鎖。
在至暗時刻來臨時，錢三強找到了彭桓武，傳達中央領導的指示，請他出山坐鎮自研核武的大關，彭桓武問：“找老頭子幹什麼，現在不是有鄧稼先那些年輕人嗎？”
錢三強連連搖頭:
“家國大事，需要年輕人的衝勁，但您這種穩如泰山的老教授在，大家都安心。”
北京第九研究所位於北京市海澱區花園路 6 號院，是中國核武器事業起步的地方，而彭桓武很快受命來到這裏擔任了副所長，接替蘇聯專家開始展開我國自己的核武研究。
在九所，科研經驗豐富的彭桓武發揮著領路人的作用，為研製原子彈做了大量基礎性工作，他的地位極其重要，不僅自己工作量很大，同時還要給年輕人上課，幫助他們豐富經驗，因此，很多人都不知道，同為“兩彈元勳”的於敏、周光召、黃祖洽等人都是彭桓武的學生。
兩彈研發過程何其艱難，在這裏便不多贅述，而在這一過程中，彭桓武始終起著定海神針的作用，因為在從0到1的道路上，最難的問題反而是自信。
比如1961年時，在一個重要數據上，我們得出的數字總是和蘇聯專家留下的對不上，無論怎麼算都無法突破，最後還是彭桓武親自以“最大功原理”倒推出結果後，確定蘇聯專家是錯誤的，這給了我們的學者們極大信心。
還有，當年輕的留美博士鄧稼先拿出自己的一套設計方案理論時，大家發現和我們以前掌握的資料有著很大不同，所以不少人都對鄧的方案持懷疑態度，而還是彭桓武在看過後全力支持鄧稼先，並呼籲“要相信我們自己的結果”。
在那個特殊的時候，彭桓武帶來的作用是難以想象的，而且在基礎工作上，他也承擔了太多，既要自己鑽研，又要管理人員，還要統籌全局。
但在1964年我國第一顆原子彈於西北荒原引爆後，錢三強卻發出感歎：