就在沃森父子倆在開發計算機項目上爭執不下時，一件令IBM難堪的事發生了。美國人口普查是一項龐大而複雜的信息處理工作，以前都是靠IBM提供的霍勒利斯製表機來進行。而這一次全美人口大普查，美國人口調查局卻采用了雷明頓-蘭德公司的通用自動計算機UNIVAC，它比IBM的電動式打卡機的統計速度快19倍。因此，人口調查局的負責人直率告知IBM，電動式打卡機已喪失其領先地位，並提出退貨。這無異於給老沃森一記響亮的耳光，同時也使他的頭腦清醒起來。又惱又羞的他決心迎頭趕上，把研製電子計算機的權力交給了小沃森。
小沃森首先廣招電子計算機專門人才，直接從各大學請來30多位電器電子專家，建立一個科研小組，由著名數學家赫德負責。然後，他與專家們經過調查研究，確定將研製一種全用途科學計算機，因為那時世界上總共僅有6台電子計算機，但幾乎都是一種類型的機器。而他們製造的這種全用途計算機則準備製造二三十台。為了減輕內部的一些反對意見，小沃森為這種計算機取了一個充滿愛國情感的名字：國防計算機。通過到美國所有國防工業實驗室宣傳推銷，他們很快獲得了十幾個客戶的訂單。思想已有所轉變的老沃森也二話沒說就批準了這項耗資達300萬美元的計劃。從1951年春天開始，小沃森便全力以赴地推進國防計算機的研製工作。
1952年1月，年已78歲的老沃森決定退居二線，任董事長，38歲的小沃森正式接任IBM公司的總裁職務。這標誌著IBM的商用機器將出現一次質的革命，將從主要生產製表機、打孔卡機、計算器和卡片的公司轉而成為一家為研製電子計算機衝鋒陷陣的公司。
小沃森上任後，頒布的第一道命令，就是盡快研製出計算機，趕上雷明頓-蘭德公司，並超越它。
當年年底，第一台國防計算機，或稱IBM701，終於問世了。老沃森對兒子的傑作大加讚揚，並決定大張旗鼓地宣傳一番。這台IBM701被運到紐約，安裝在總部大廈的底樓。150名頂尖的科學家和商界領袖參加了盛大的開機典禮。不久，小沃森又推出應用於會計係統的IBM702電子計算機、用於雷達防空網絡的Q-7計算機。到1954年春天，IBM已經與雷明頓-蘭德公司並駕齊驅。盡管在實際安裝方麵，雷明頓-蘭德仍略占上風，領先十幾台，但IBM拿到手的訂單卻比雷明頓-蘭德多4倍，僅702型的訂單就達50台。在這場競爭中，IBM初戰告捷。
接著，小沃森又在擁有領先技術的基礎上，加快產品的推陳出新，研製出體積小、用途廣且價格適中的新產品來。1954年，IBM開發出650型小型電子計算機，每月的租金隻有4000美元，使一般的學校、保險公司、銀行都能用得起。就這樣，很快在全美掀起了一股650型小型計算機熱。此外，他們還推出IBM703、IBM704、IBM705等係列產品，以滿足各方麵客戶的需要。到1956年，IBM已經遙遙領先，使雷明頓-蘭德公司望塵莫及，重新占據商用機器業的霸主地位。
IBM充分發揮其強大的推銷優勢，推銷員四處出擊，到處宣傳。小沃森成了著名雜誌《時代》的封麵人物。"電腦"成了一個十分時髦的字眼，而電視上看到的電腦卻統統都是IBM製造的。
1956年6月，82歲高齡的老沃森因病逝世。這位為IBM奮鬥了40餘年的創業者，欣慰地看到IBM1955年的總收入已突破5億美元大關，而且正以每年增長20％的速度劇增，比起他當年接手計算製表記錄公司時年營業額不到420萬美元來，已增長了100倍。
隨著晶體管製造工藝逐步成熟，它為第一代電子計算機——電子管電子計算機過渡到第二代創造了條件。1958年4月IBM決定用晶體管代替電子管成批生產分立的晶體管計算機。不久即推出7070型、7090型等大型晶體管計算機和1401型、1620型等中小型晶體管計算機。1401型辦公室用計算機以其價格低廉、效率高、適應性強的特點，很快成為銷路最好的品種，在第二代計算機中處於領先地位。
集成電路的發明是電子技術的又一次重大突破。1964年4月7日，正值IBM公司創建50周年那一天，小沃森宣布IBM的360型係統電子計算機製造成功。它是第三代計算機的佼佼者，其研製開發經費高達50億美元，遠遠超過美國研製第一顆原子彈的曼哈頓計劃（20億美元），堪稱曆史上規模最大的私人企業投資。360型的訂單堆積如山，達到創記錄的程度。到1966年底，IBM裝配360型計算機8000台，公司年收入超過40億美元，純利高達10億美元。這是小沃森一生中最大的成功。
1970年下半年，小沃森犯了心髒病，出院後工作常有力不從心之感。他年僅57歲，但為了事業，決定急流勇退，提前於1971年夏天退休。董事長由非沃森家族的利爾森接任。這一年，IBM公司的年營業額已達75億美元，比起他剛接任公司總裁的1952年，公司利潤又翻了十幾倍。
如今，小沃森已年屆八旬，但作為董事，仍對IBM有著重大影響。公司的董事長又換了幾茬，而公司在計算機業的霸主地位卻絲毫沒有動搖。IBM始終以超前的技術、出色的管理和獨樹一幟的產品領導著全球信息工業的發展。從阿波羅宇宙飛船登上月球到哥倫比亞航天飛機飛上太空，無不凝聚著IBM無與倫比的智慧。IBM的事業就像宇宙飛船一樣永遠向著更高的目標不斷奮進，永無止境。