雖然這次奏保未獲準，淮揚水師也未東下，但李為曾所器重，已是公開的秘密。中區團練頭目對此早已心領神會。事實上，張樹聲也在積極謀劃。他認為“廬、鳳、穎、壽之民，忠於朝廷，並且鬥誌很高，能別立一軍，使其豪及大姓將之”，並通過李上書曾國藩。曾看後極為讚許，他們這樣做並表達想在曾國藩的麾下效力的強烈願望，透露了他們願在李的帶領下，隨湘軍作戰的共同心聲。
江南大營覆滅後，清軍在江蘇南部隻剩下鎮江、上海兩個軍事要地，其中上海的經濟政治地位更重要。上海在開埠後約20年內已發展成為全國最大的進出口都市，對外財政收入額巨大。外國侵略者與江蘇官紳聯合，先對小刀會起義進行鎮壓，接著又打退了太平軍首輪進攻。鹹豐十一年（1861年），當上海官紳得知太平軍將再次向上海進軍時，又一次向外國侵略者搖尾乞憐，大紳士潘曾瑋等向英國人說：“現在國民無不同聲環訴，求助貴國，實已情極之至。”同時，他們也明白侵略者在上海駐兵不多，根本抵擋不了數十萬太平軍的進攻。於是便兩次派人至安慶向曾國藩求救，請他派兵支援，上海方麵則提供巨額軍餉。
曾國藩既不能拒絕上海官紳的要求，而且他也不願拒絕。上海是兩江總督的轄地，能得到巨額軍餉，對於餉需奇缺的湘軍也頗具吸引力；另一方麵，進援上海鎮江，就與進援浙西的左宗棠軍、進軍天京的曾國荃軍相呼應，對太平軍形成大包圍之勢。正因為有這樣重要的經濟、軍事雙重意義，曾國藩才精心策劃東援江蘇的部署，並精心挑選統將人選。
他先考慮派曾國荃，並加派李鴻章、黃翼升、陳士傑，但卻令李去鎮江，令曾、陳往上海。
很明顯，這是因為曾國荃是其親弟，陳士傑既為其早年門徒，又為同鄉舊部，自然要比李鴻章同他的關係更為親密。但曾國荃意執要攻占天京，立首功，而陳士傑又不願東來。這樣，曾國藩才隻好令李領陸營並加派黃翼升之水師一起東援上海。這對李鴻章無疑是一個很好的機會。
李鴻章於鹹豐十一年（1861年）十一月奉命招兵買馬，至同治元年（1862年）正月，張樹聲、劉銘傳、潘鼎新、吳長慶即各帶所部團勇應召來到安慶，並按湘軍營製，把淮軍編為四營；同時，曾國藩從湘軍調撥韓正國兩營，程學啟兩營，張遇春一營，以及新從湖南招募的四營。這十三營，除張、劉、潘、吳四營是李鴻章新招來的，並有同鄉，乃至其他私人交誼外，程學啟、張遇春三營雖從湘軍撥來，張遇春還是李之舊部，但將士全為安徽人；其他六營的將士均為湖南人，與李沒有絲毫關係，韓正國兩營則是曾國藩之嫡係部隊。其實，黃翼升之水師四千人也嫡屬曾國藩。即使加上李弟統帶千餘人不久加入，其嫡係淮軍數額也遠遠抵不上湘軍，更何況曾國藩既是李的老師和恩主，又是淮軍的創建者和實際上的統帥。這一切使初建時的李鴻章軍名為淮，但事實上則同鮑超等軍一樣，都是湘軍的附屬。
淮軍的正式獨立
同治元年（1862年）三月，李鴻章的首批軍隊乘坐上海官紳以18萬巨款租來的外國輪船來到上海，至五月，陸營6500人全部到達，不久以後黃翼升率水師也隨後趕到。李軍在上海雖多次在戰場上獲勝，但曾國藩仍然堅持以前的想法，命李去鎮江，而讓黃翼升繼續駐守上海。而這時已署理江蘇巡撫的李鴻章卻非常明白自從太平軍建都天京，特別是江南大營覆滅後，蘇北的財政大權已為漕運總督等軍政大員把持，如果去鎮江，便會失去對上海財稅的控製權，自己就陷於有兵無餉的困境，巡撫之職也徒有其名。
在這種關鍵問題上，雄心勃勃的李鴻章自然不會輕易放手，婉辭加以拒絕：“恐鴻章一動，此間軍心不穩”，並言黃翼升不願與之分開，且“昌岐獨留淞滬，文武水陸未見皆遵教令”。同時，他對曾國藩像從前一樣畢恭畢敬，且從上海巨額收入中，分撥一部分給曾作為軍餉。同治元年（1862年）八月至十二月，僅據曾的隨手記錄，分撥的軍餉就達14萬兩之多。而且李鴻章此時已是立有戰功、兼握軍政的封疆大吏，不大方便也不大可能隨意進退。這樣，曾國藩就隻好任李所為，不再堅持前議。於是，李鴻章又采取了以下幾個方麵的措施。