此時，湘軍仍在鎮壓撚軍、陝甘回民軍和貴州苗民起義軍中起著決定性的作用。可曾國藩仍怕皇上猜疑，另外，他也深知自己的湘軍，由於水陸軍各將領均由他自己親自挑選物色，這樣一來，部下各將領也心領神會，如法炮製，利用至親密友、門生故舊等關係，從上至下物色下屬官員。這種封建的隸屬關係，從軍官到士兵編織成一張網，這種網也是很危險的，因為它是靠著即得利益者組成，一旦利益集團都不到實惠，那這張網就會毀掉。要想保持部部隊的鋒芒，要需要新鮮的力量。曾國藩本人是個儒將，其湘軍的高級將領大都不是兵弁出身，多是失意的儒生，悍將羅澤南、江忠源、李續賓、彭玉麟、曾國荃、左宗棠等人，均是科舉製度下屢遭挫折的讀書人。這些科舉不第的儒生，慣於用禮教訓導士卒，以驅使士兵為自己效命。某種程度上，這種情感也帶有“江湖”色彩
曾國藩的思路也是排斥行伍出身的舊官弁，到處尋求血性忠義的儒生。這樣一來，湘軍在當時有戲稱“曾家軍”也就不怪了，經過深思熟慮，想到得意門生李鴻章，對其說：“你到安徽去，另招募一支軍隊，要找自己所信任了解的人當將領，再使他們去各地招募他們信任的勇士。”
李鴻章心領神會說：“我知道老師現在的處境，您效忠皇上，愛民愛兵，但也難免遭到小人的猜疑。”
曾國藩捋著稀零零的胡須，哈哈一笑說：“賢契多慮，我肝膽相照，為國為民，決無二心，隻是希望你赴皖牢記朝廷的恩典，擔負起責任。”
李鴻章對老師從來畢恭畢敬，說：“先生承教！”
曾國藩說：“八旗兵若同危卵，綠營兵形同虛設。看到他們出戰時，東張西望，哆口微笑，看見人家勝了，則深深忌妒，生怕別人拿了賞銀，怕別人升遷；見人家敗了，則袖手不顧。縱觀戰局，看到自己人全軍覆沒，也沒有一個出去援助。這樣的軍隊，不戰則罷，戰則必敗。用兵時，東調一百，西撥五十。這種積習，深入膏盲，牢不可破。這是練兵的大忌。”
李鴻章說：“在下明白，湘軍已成正統，我學著就是了。”
這就到了1861年（鹹豐十年），曾國藩命令他的得意門生李鴻章到安徽原籍去舉辦團練，再招募一支軍隊。
李鴻章可謂是青出於藍而勝於藍，一到安徽，便將皖省的團練按“湘軍”的營製，很快建立了一支武裝，號為“淮軍”，其張樹生、劉銘傳、潘鼎新、李鶴章(李鴻章之弟)、吳長慶等都麇集在“淮軍”的旗下。這個吳長慶，就是後來算是拉了袁世凱一把並使之飛黃騰達的那個淮軍慶子營的統領。李鴻章的淮軍，在治理上仍是走曾國藩路，“淮軍”的將領，多是鄉黨親故，再不就是父子兄弟。這些人，患難相依，結成朋黨。
三十八歲的李鴻章，博學儒雅，常和洋人打交道，視野寬闊，和其他遺老比起來，深知西方的“船堅炮利”，極是熱衷洋務。他統領淮軍後，又積極籌建海陸軍備，派遣留學生赴日、德留學，其留學生中就有後來成了“北洋三傑”的段祺瑞等人。
1871年，沙俄派兵占領了新疆伊犁。
西北邊疆的告急，引起朝廷的恐慌，並由此引發了一場關於“海防”和“邊防”的論爭。“海防”派為李鴻章，不斷奏請朝廷加強海防，他認為日本的威脅比沙俄更直接；而“邊防”派為左宗棠，不同意以犧牲邊防為代價來建立海軍。
李鴻章便和左宗棠爭論說：“北京離海近，守著老佛爺，一旦日本入侵，我大清國不設海防，豈不是讓夷人長驅直入。”
左宗棠用他的一套理論說：“如不遏製住俄國的擴張勢頭，保住西北邊疆的領土，俄人會繼續東進，列強也會在海上進攻，相互取得呼應，等大軍再回過頭來收拾邊防，怕是悔之晚矣。”
李鴻章說：“新疆離京師甚遠，國家財政緊張，派兵西征怕是沒有得勝的可能。那地方土地貧瘠，也不太值得動此幹戈。”
左宗棠說：“那就將我河山拱手相送嗎?”
李鴻章說：“緩期收複不是放棄新疆，而是保存實力，以退為埋，再圖大舉。”
左宗棠緊逼說：“沿海防務已有固定軍費，實不應動用邊防軍費啊。”
兩派爭論結果，最終為左宗棠獲勝。
1875年4月，左宗棠被任命欽差大臣，督辦新疆軍務，兩個月內，他率大軍收複了烏魯木齊、昌吉、呼圖壁、瑪納斯等地，不久又攻占了吐魯番、達阪等地，除了伊梨一座孤城還在俄人手裏，整個新疆又回到帝國的版圖上。
這時的李鴻章，雖有些垂頭喪氣，但他處事圓滑，足智多謀，曾國藩去世後，他在朝廷仍是握有重權的大臣之一，兩次出任當時最顯赫的直隸總督兼北洋大臣。督直期間，他將統領的淮軍也相繼調防直隸，同時又開始倡導他所熱衷的洋務運動，接受了英人戈登整頓陸軍的建議，並頻頻奏請朝廷，要求學西人，辦北洋武備學堂，以訓練海陸軍人才。這個奏請，得到了朝廷的恩準。光緒九年，李鴻章在天津設立北洋水師學堂，時隔三年，又設立了北洋武備學堂。這是大清第一個正規的海陸軍學堂。該學堂的學員，多是湘淮軍的舊營。這些有戰鬥經驗的鄉勇和團練，經過曾國藩和李鴻章的創練，成為新型的軍隊，也是中國近代軍隊雛型。
李鴻章躊躇滿誌演練出來的這支軍隊，在列強和腐敗的政府麵前真是太渺小，當時的左宗棠要保住新疆沒錯，可李鴻章所擔心的海防終於要出事了。
虎視眈眈的東洋人，早就尋找侵華的口實。
東洋人這一企圖，在金玉均被殺事件中表露無遺。金玉均是朝鮮開化黨的領導者，“甲申政變”後一直躲在日本，朝鮮政府多次要求引渡，都被日本拒絕。1894年3月，他密秘返國準備從事反政府的活動，途經上海時，被本國人暗殺。金玉均的屍體經朝鮮政府的請求，清廷同意遣船送回本國。日本人大力宣揚，認為中國政府侮辱了日本，煽動仇視中朝兩國的情緒，尋到幾縷金玉均的遺發，在東京舉行盛大葬禮。一些日本浪人到處遊行，釁事搗亂。不過，靠這事要挑起一場戰爭，借口還是不夠的。狡猾的日本人，很快找到了另一根導火索，那就是1894年爆發的朝鮮農民戰爭。日本人想把中國拖進這場戰爭，弄出很多假象，派出一批浪人，實際上都是間諜，他們一方麵在暗中幫助反政府的東學道，使之成為日本國的挑釁工具，另一方麵就此慫恿清廷出兵鎮壓農民起義，達到把中國拖入日本預設的戰爭陷阱。