在清華上學期間，王淦昌迷戀上了化學課程。後來，因為受到清華大學實驗物理學家葉企孫教授的重視，王淦昌逐漸地喜歡上了物理。在1926年選擇分係的時候，王淦昌選擇了物理係，他決心要靠自己的科學研究，打開物理學的神秘大門。同時，王淦昌和葉企孫教授結下了不解之緣，葉企孫教授對王淦昌的一生產生了不可估量的影響。
1929年6月，王淦昌從清華大學畢業，他被剛從國外留學回來的吳有訓教授留下來當學校助教。吳有訓、葉企孫這兩位中國近代物理學先驅者，他們成功地將王淦昌引導上了真正的物理學研究中。1930年，王淦昌赴德國留學，三年後獲得柏林大學博士學位。1934年4月，王淦昌學成歸來，先後在山東大學、浙江大學任教。當時的王淦昌僅僅二十幾歲，是位年輕的知名教授，所以一些老教授都笑稱他為“娃娃教授”。
1937年，抗日戰爭爆發後，王淦昌省吃儉用，將一大筆省下來的錢款捐獻給國家、政府，以支援抗戰。為此，王淦昌養成了勤儉節約、生活刻苦的習性。抗戰勝利後，中國又發生了內部混亂大作戰，為推翻國民黨反動統治，共產黨領導了全中國的解放戰爭。在戰爭後期，王淦昌果斷地選擇了革命陣營。
新中國建立後，王淦昌開始投身於中國粒子物理學的研究中。1950年4月，應錢三強的邀請，王淦昌來到了剛剛成立不久的中國科學院近代物理學研究所，擔任研究員。1951年，王淦昌被任命為該研究所的副所長，從事領導宇宙線的研究工作。三年後，王淦昌在雲南落雪山建立了中國第一個高山宇宙線實驗室，實驗室很快取得了重大的研究進展，引起了國內外物理學家的注意。
1959年6月，中蘇兩國徹底決裂，蘇聯領導人赫魯曉夫撕毀了兩國政府簽訂的工業援助的合同，將參與原子彈設計的專家撤回蘇聯，並且對原子彈技術封鎖起來，這對中國剛剛起步的原子事業造成了毀滅性的打擊。在此情況下，中共中央開會研究後，決定中國自力更生，自行研究核武器。為了突破技術上的難關，中國政府將一大批優秀的科學家和工程師集中到了北京核武器研究所，王淦昌也在召集的行列內。
當時，中國為了原子彈工程的秘密性，政府要求參與工程研究的科學家們一律不得泄密，並且要長期的隱姓埋名，斷絕同外界的聯係。從此，這一大批科學家為了祖國的核武器事業，他們默默無聞，隱姓埋名地奮鬥了十六年。王淦昌是第一個離開了北京，離開了自己家人的人。
在核武器研究工作中，王淦昌負責的是物理實驗方麵的工作。解放軍劃出來的一塊靶場作為他們的物理實驗爆炸地。在這裏，王淦昌和他的同事們一起攪拌炸藥、安裝測試電纜、插雷管，一年中，他們完成了成千上萬個爆炸試驗。直到1962年底，他們才基本掌握了爆炸的重要手段和實驗技術。之後，王淦昌等人又被調去到西北荒原上，進行核武器研究工作。那時候，研究基地剛剛建設，生活條件極差。在海拔3200米的高原上，由於高原缺氧，缺乏燃料，那裏的水燒不開，饅頭蒸不熟。在這樣困苦的條件下，王淦昌沒有絲毫的怨言，麵對西北風沙，他每天都堅持去車間、試驗場，去了解工作，討論遇到的難題，大家經常討論到深夜，他們對每一項技術、每一個數據，都一絲不苟的嚴格把關，絕不應付交差。
1963年，王淦昌去廣州開會，國務院副總理陳毅問他什麼時候能將原子彈研製出來？王淦昌信誓旦旦地表示：明年，明年一定完成任務。
王淦昌沒有食言，第二年10月16日下午3時，在茫茫戈壁灘上，忽然升起了一片蘑菇雲。參與原子彈研究的中國科學家們相擁在一起，他們熱淚盈眶，中國的第一個原子彈終於研製成功了！1967年6月17日，中國第一顆氫彈爆炸成功。中國是世界上研製時間最短的國家。在這一方麵，美國用了七年四個月，法國用了八年六個月，蘇聯人用了四年，而中國人隻用了兩年八個月！