士為知己者死，能得到張之洞的傾心信任，黎元洪拚命工作以為報答。通過他的努力，張之洞的南洋新軍，很快成長為一支非常有戰鬥力的軍隊。
在1900年的庚子之亂中，張之洞與兩廣總督李鴻章、兩江總督劉坤一，實行“東南互保”策略，與山東巡撫袁世凱遙相呼應。亂戰之後，北方的舊式軍隊，如聶士成、董福祥等率領的淮軍勢力都被八國聯軍和義和團衝擊得七零八落，獨有袁世凱的北洋新軍和張之洞的南洋新軍保存完好、毫發無傷。
也就是從這以後，北洋新軍和南洋新軍，成了中國最重要最強大的軍事力量。北洋新軍是袁世凱一手編練出來的，而張之洞的南洋新軍，則與黎元洪的努力密不可分。
正因為如此，當南洋新軍在庚子之亂中展現了自己的實力後，黎元洪也成長為南洋新軍的第三號人物，除張之洞，就隻有張之洞帳下的另一寵臣張彪排在黎元洪之上。
1903年，朝廷針對北洋軍和南洋軍各自為政的狀況，下令統一全國軍製，將湖北軍額定兩鎮。不久將第一鎮改為陸軍第八鎮，第二鎮改為第21混成協。張彪為第八鎮統製，官居二品；黎元洪為第21混成協協統，同樣官居二品。在湖北新軍中，黎元洪的地位雖次於張彪，但他還兼任著兵工廠、鋼藥廠提調、講武堂會辦、湖北棉麻四局會辦，以及兼轄湖北水師。
黎元洪地位蒸蒸日上，這使張彪十分惱火，唯恐黎元洪在新軍中取而代之他的二把手地位，於是對黎元洪大進讒言。奈何張之洞非等閑之輩，自有主見，非但不聽張彪的讒言，反倒來勸張彪要大度一些。張彪心中不滿，一次竟當眾要罰黎元洪這個協統下跪，借此將他的帽子打落地上。
黎元洪卻並不理會，不與張彪爭論。第二天張之洞當著張彪和黎元洪的麵誇讚他們訓練部隊有方，黎元洪反倒借此對張之洞說：“凡此皆張彪製之部署，某不過執鞭隨其後身，何功之有。”
張彪見黎元洪如此以德報怨，從心裏佩服黎元洪，倆人關係也逐漸改善。張之洞不愧有百樂之才，雖然喜歡張彪，時間一久便看出張彪在德才上均不如黎元洪。不久，張之洞便產生了以黎元洪為第八鎮統製替代張彪的想法。
在征求黎元洪意見時，遭到了他的娩言拒絕。由此，張之洞對黎元洪更是刮目相看。到1907年，趙爾巽接任湖廣總督時，也想以黎元洪替換張彪。黎元洪以大局著想，還是婉言拒絕。
黎元洪之所以能得到張之洞和趙爾巽的如此器重，除了他的性格魅力，他的軍事才華也非常重要。當時的武漢，常有外籍的軍官來訪，能與外籍軍官就軍事問題侃侃而談的，惟有黎元洪一人最佳。許多外籍軍官都由衷地稱讚黎元洪：是位“知兵之將”。
正是黎元洪這個“知兵之將”，使得“南洋新軍”和“北洋新軍”的兩次大比武中，獨占鼇頭、大放異彩。
1906年10月，大清王朝在河南彰德舉行秋操，令南北兩軍對壘。“南軍”由張彪任總統，黎元洪任“南軍”統製，王汝賢任“南軍”統領。“北軍”由段祺瑞為總統，張懷芝為統製，曹錕為統領。
臨賽之前，張彪自知不能取勝段祺瑞，就讓黎元洪實際指揮。結果，黎元洪指揮的“南軍”射擊技術獲最優獎勵，效率明顯高於“北軍”，致使袁世凱也為之歎服，奏報朝廷道：
“至就四省軍隊分析衡論，湖北一鎮，經督臣張之洞苦心孤詣，經營多年，軍容盛強，士氣健銳，步伐技藝均已熟練精嫻，在東南各省中，實堪首屈一指。”
在這次秋操中，黎元洪雖然展示了自己的才能，取得了比賽的勝利，卻為他在日後的北洋政府中埋下了一些隱患。比賽中，被他搶去風頭的段祺瑞，對此耿耿於懷。後來，黎元洪與他一個是總統，一個是總理，倆人之間曾進行了長期的“府院之爭”，以至於矛盾始終得不到調和，均與這時的比賽有關。
這是後話，接下來的1908年11月，朝廷又在太湖舉行第二次秋操，還是把大清王朝的這兩支最精悍的部隊分為南北兩軍。“南軍”主要由黎元洪的第21混成協組成，這回黎元洪成了“南軍”的實際總指揮。