小沃森負責管理IBM之後，公司的經營規模迅速擴大，隨之產生了許多問題。而在人力資源管理方麵所麵臨的問題是，許多相對來說缺乏經驗的IBM員工正在被提升到管理崗位。在提拔人才時，一個分部經理隻需把一個推銷人員叫到辦公室，對他說：“現在正式提升你為助理經理。要管好你的手下，說話不要帶髒字，要穿白襯衫黑西裝。”
由推銷人員走上助理經理的過程實在太過於簡單了。小沃森決心改變這一現狀。他知道，對這些年輕的管理人員來說，最重要的不是學習其工作的專業或技術知識，而是學習對待其下屬的適當方式。如果工人和管理人員的關係不密切，互不合作、互不信任的話，IBM公司遲早將會成為一個戰場。
IBM是最早擁有自己的銷售培訓學校和技術培訓學校的企業。剛開始的時候，學校的培訓方法是不完善的，連一本關於怎樣把IBM人訓練成優秀管理人員的教材都沒有。培訓班把哈佛大學商學院講課的實例原封不動地搬了過來。小沃森對此頗為不滿。他對負責培訓的下屬說：“如果我們公司真想獨一無二，我們就必須教些獨一無二的東西。我希望你用IBM的管理方式對他們進行培訓，讓他們學會交往、做好銷售和服務工作、看望生病的員工妻子並給予幫助、對員工家屬進行慰問等。”
小沃森的這些要求，的確是任何一種教材中都沒有談到的問題。這是IBM多年以來逐漸形成的慣例。IBM的新經理們不僅要懂技術，還必須知道這些慣例。培訓負責人接受了小沃森的建議，改變了培訓方法，用IBM特有的管理經驗來培訓IBM的高級管理人員，取得了很好的效果。最後，小沃森明文規定：如果不進管理學校，就不能在IBM從事管理工作。培訓課程一般為2~6個星期。小沃森確保他自己或其他高級經理去看望每一批接受培訓者，因為讓他們看到他們在為誰工作是至關重要的。