爾後，袁士凱一麵組織力量將國外的兵製典章、軍事著作翻譯成了中文，自己潛心研究，加緊學習近代軍事知識；一麵堅持不斷上書，陳述自己改革軍事的設想，將自己的軍事思想源源不斷地呈現給王公大臣，開闊他們的視野，引起他們的共鳴。
袁世凱的努力沒有白費，1895年12月8日，也就是中日甲午戰爭結束半年之後，袁世凱在督辦軍務處任職後，從北京來到了天津小站，肩負起當時朝野內外一致呼籲的重要任務——督練新式陸軍。
操練新軍，是甲午戰爭後中國最時尚的職業，自此，袁世凱的人生翻開走向輝煌的第二頁。致使天津那個很不起眼的小站，也由此聲名鵲起。據說近代歐洲列強，包括德國、英國、法國等國家，在他們印刷的中國地圖上，都會標注一個叫做小站的鎮子。這個唯一被標注的中國小鎮，就是袁世凱督練新式陸軍的地方。
這是個方圓僅僅52平方公裏的地方，袁世凱卻在這裏撈到了他可以賺回一個國家的本錢。在袁世凱以後的人生中，他都是依靠這支小站練出來的軍隊，走向北洋軍的統帥，走向中華民國大總統的寶座。
當時袁世凱在小站所創建的武備學堂，是傳授西方重要文化知識的場所，就從這練兵小站，除了他袁世凱這位大總統之外，還走出了四位總統、九位總理、三十位督軍，這不能不讓人佩服袁世凱在選人和訓練人上的高超和獨特的能力。
在當時的中國，“好鐵不打釘、好男不當兵”這話是很流行的。家境稍微過得去的，都不願出來當兵。這結果，願意當兵的便隻能是些沒飯吃的懶漢、地痞，或者是流民。他們樂意當兵，隻想混口飯吃。這樣一來，兵的素質很差，練兵當然也就無從說起。大清國的兵，都缺乏嚴格的軍事訓練，在軍容嚴整的歐洲軍隊麵前，就不堪一擊了。
袁世凱雖然沒種過莊稼，卻深知好種出好苗這個道理。在兵源這個問題上，他很動了一番腦筋。他選兵，隻從貧苦農民子弟中挑，富家子弟、有惡習的、抽大煙的、那些想到軍隊來混飯掙錢的一律都不要。他要求挑選的兵得有一定身高和體力，能負一定的重量，要體格健壯，能舉著石鎖能走一定的路程。要求非常嚴格，待遇當然也很好。袁世凱想方設法，使小站的新兵比八旗、淮軍的都要高。
這麼一來，不到半個月時間，袁世凱在河南、山東、安徽、江蘇精挑細選到素質很高的步兵2000人，總兵力達到7000人左右。袁世凱給他的這支部隊換了個名，不再叫定軍，改名叫新建陸軍。
這是中國第一支新式陸軍，完全仿效德國的軍隊建製，是近代化的陸軍體製，分為馬、步、炮、工兵、輜重這麼五科，編製很規範，有鎮、協、標、營、隊、排、棚，是一個很規範的單位。
為訓練新兵成立了督練處，袁世凱親自擔任督練官。事無巨細，身先士卒，將全部心血傾注到練兵當中。
為了實用而又便於作戰，袁世凱通過反複琢磨，舍棄一些舊的製度，用標準軍禮替代磕頭，用口令替代擊鼓鳴鑼，軍裝也徹底革新，由原來的袍子馬褂，改造成有靴子、綁腿、褲子是肥大、上衣短，褲腳裝在靴子裏的新軍裝。
關於練兵的秘訣，袁世凱曾跟張之洞談過這樣的話：練兵的事情，看起來似乎很複雜，其實很簡單，主要就是練成絕對服從命令。我們一手拿著官和錢，一手拿著刀，服從就有官有錢，不服從就吃刀。
正是帶著左手官，右手刀的這種理念，袁世凱正式接手定武軍的第一件事，就是找人。除了在兵源上找到素質高的士兵，袁世凱更是不惜重金聘請了十幾位德國教習，又親自從天津武備學堂中挑選出百餘名學生任各級軍官。
有了從士兵、軍官到教習這樣清一色能幹的人，軍事技能訓練就好辦了。袁世凱規定，全軍統一使用新式步槍、馬槍和快炮，其中大都是德製的標準化槍械。訓練基本技能時，對於射擊、射擊的要領，都有非常嚴格很規範的要求。不但講該怎麼做，還講其中的原理，什麼三點成一線、什麼彈道啊，理論的東西都要講。特別是炮兵，什麼一炮手，二炮手，裝填手，使用瞄準的，還有這個發令的，一個一個講的很細致。
袁世凱小站訓練出來的兵，軍事技能都要過關，政治覺悟更要過關。袁世凱在官場摸爬滾打了這麼些年，在政治上有一套強硬的手腕。