徐世昌之所以冷板凳一坐近十年都不去謀求外放，這時去小站協助袁世凱練兵卻欣然前往，這正是他看問題的深遠之處。因為此時隨著外國的不斷入侵，他已經看得清清楚楚，亂世已經不可避免地到來，而要在亂世中立足的根本，還在於手中的實力。
自己縱然不能做一個將軍，如果能夠擁有眾多的將軍朋友，對自己今後的仕途，一定會起著非常好的作用。抱著這樣的一個想法，徐世昌愉快地接受了袁世凱的邀請，來到小站。
袁世凱對於徐世昌非常地信任，不僅讓他總攬全軍文案並參與機密，自己不在時，還讓他代行其職，主持小站的日常工作。這時的徐世昌，成了袁世凱最交心的兄長與最得力的幫手。
徐世昌是個典型的受人之桃報之以李的坦坦君子，到小站不久，就幫袁世凱躲過一劫。
因為克扣軍餉、誅殺無辜，袁世凱被人告發，慈禧下旨軍機大臣榮綠與陳奎龍負責查辦此事，袁世凱看有可能受罰降職，甚至罷官入獄。這時候，徐世昌挺身而出，找到曾為同榜進士，私人交情甚篤的陳奎龍，一番言說，得以“乞恩姑從免議”，使得袁世凱一場彌天大禍，消弭於無形。
對此大恩大德，袁世凱感激不盡，徐世昌卻隻是連連擺手說：“都是兄弟，何必說一個謝字。”
徐世昌嘴上這麼說，心裏也是這麼想，兢兢業業地在小站展開工作。作為本部參謀營務處總辦，徐世昌的主要工作是考閱各隨軍學堂文卷，考核兵目操法，校訂行軍攻守陣式圖說，改訂講訓各兵官功課等。因為新建陸軍大多學問來自西方，為更好地學習西方軍事科學，早過不惑之年的徐世昌，刻苦自學英語。
1898年至1899年，徐世昌比較完整地提出了近代化軍事理論，製定了中西結合的軍製、法典、軍規、條令及戰略戰術原則。他領導組織編撰出《新建陸軍兵略錄存》及《操法詳晰圖說》十三冊，並以這些新的軍事知識和要求來統籌全軍的訓練及教育，取得了卓著的成效。
其結果是既提高了訓練新軍的成效，又提高了徐世昌本人在軍隊中的聲望。再加上袁世凱對徐世昌的非常親密與高度信任，不僅稱之為兄，而且言聽計從，還有徐世昌本人的翰林出身，等等這些，都使得徐世昌深受小站將領們的尊重。大家都敬他為師長，從而奠定了徐世昌在北洋軍隊中，僅次於袁世凱的地位。
更讓徐世昌值得欣慰的是：從天津武備學堂畢業的王士珍、段祺瑞、馮國璋，是袁世凱最器重的人，他們都是既做帶兵的軍官，又兼教學的教習。王士珍兼隨軍講武堂教習，段祺瑞兼炮兵學堂教習，馮國璋兼工兵學堂教習。這三個人，因教習這份工作，都成了徐世昌的直接下屬。在短短的兩年中，徐世昌與他們建立了深厚的師生情誼。
而這三個人，後來被稱為“北洋三傑”，個個手握重兵，縱橫軍界政界。不僅是他們仨人，由於徐世昌學識淵博，待人謙虛，樂於助人，小站新軍中所有與他相交過的軍人，對他都很敬重，而後來全國各地新軍軍官，大都出於北洋六鎮，這六鎮中的軍官，又源出於小站新軍。這樣一來，作為文官的徐世昌，自然而然就有了一股來自軍界中強大力量的支持。這對徐世昌後來的總統之途，無疑有著巨大的幫助。
袁世凱在徐世昌等人的協助下，在小站練出了一支嶄新的軍隊，人數雖然不足萬，戰鬥力卻非常強，構成了後來中國軍事力量的核心。朝廷派兵部尚書榮祿到小站來查看，隻見新軍單個素質都特棒，整體士氣也很高，與舊軍相比，真都可以以一當十。回去給慈禧彙報，袁世凱很快擢升直隸按察使。
到戊戌變法開始後，手握小站新軍的袁世凱先是受到光緒的重視，想靠了他的武裝來支持維新。1898年9月16日、17日兩次召見後，光緒破格提拔袁世凱為候補侍郎。接下來的18日晚，譚嗣同突然闖進袁府，讓袁世凱舉兵先殺榮祿，再逼太後交權。
袁世凱驚出一身冷汗，含糊搪塞，送走譚嗣同。正反複權衡，拿不定主意時，得知光緒已被囚禁，又被榮祿傳見，趕忙就向榮祿和盤托出革命黨要“殺祿逼後”一事。
如此一來，袁世凱不僅為自己解除了嫌疑，還得到了慈禧與榮祿的進一步信任至使官運更加亨通。1899年，袁世凱升任工部右侍郎，12月調任山東巡撫。