隨後，上海士紳花銀18萬兩，雇英國商船7艘，將淮軍分批由水陸運往上海。由於“濟”字營留防池州，因此乘船入滬的淮軍共計13營約9000人。
李鴻章本人於三月十日隨首批淮軍抵滬，半月之後，被任命署理江蘇巡撫，十月十二日實授，次年二月又兼署通商大臣。
李鴻章受任之初，形勢極為嚴峻。當時上海是全國最大的通商口岸，華洋雜處，是江南財富集中之地；淮軍抵達時，正值太平軍第二次大舉進攻，能否守住上海並徐圖發展，是擺在李鴻章麵前的最大考驗。李鴻章還是真記住了曾國藩的教誨“以練兵學戰為性命根本，吏治洋務皆置後圖”。
而由上海官紳組建的“中外會防局”，一心指望外國雇傭軍抵禦太平軍，對洋人百般獻媚，他們和外國軍隊對淮軍不以為然，“皆笑指為丐”。麵對這種情況，李鴻章激勵將士說“軍貴能戰，待吾破敵懾之”。不久，淮軍果然於當年下半年獨立進行了虹橋、北新涇和四江口三次惡戰，李鴻章親臨前線指揮，成功守住了上海，頓時令中外人士對淮軍刮目相看。
初步站穩腳跟後，李鴻章開始從“察吏、整軍、籌餉、輯夷各事”入手，以進一步鞏固自己的地位。在人事上，他罷免了以吳、楊坊為代表的一批媚外過甚的買辦官吏，改為起用郭嵩燾、丁日昌等一批務實肯幹的洋務派官員，同時建立了不同於湘軍幕府，以務實幹練、通曉洋務為基準的淮軍幕府。在軍製上，他從實戰中領略到西洋軍械的威力，從而產生“虛心忍辱，學得洋人一二秘法”的想法。淮軍到滬未及一年，“盡改（湘軍）舊製，更仿夷軍”，轉變成了裝備洋槍洋炮，並雇請外國教練訓練的新式軍隊，大大提高了戰鬥力；同時，李鴻章還采用一係列招降納叛，兼收並蓄的措施，擴充實力，不到半年內，淮軍就迅速擴軍至50個營頭，約2萬人，此後更進一步急劇膨脹，到如今，淮軍總兵力除去長夫之外，已達7萬餘人。
在軍費上，李鴻章采用“關厘分途，以厘濟餉”的政策，以關稅支付常勝軍、中外合防局及鎮江防軍的軍需，而以厘金協濟淮軍，隨著軍事進展和湘淮軍力的壯大，厘卡也層層添設，從而確保了餉源。在對外關係上，李鴻章利用洋人赫德和士紳潘曾瑋當說客，巧妙地平息了因蘇州殺降而引起的戈登率常勝軍鬧事事件，並最終巧妙地解散了常勝軍，初步顯露出他的外交手腕。
同治元年十一月十八日，常熟太平軍守將駱國忠投降。李鴻章乘機率淮軍發起收複蘇、常的戰役。經過與前來平叛的太平軍反複激戰，淮軍最終攻克常熟、太倉、昆山等地。在初步掃清蘇州外圍後，李鴻章製訂了三路進軍計劃，中路程學啟統率，由昆山直趨蘇州；北路李鶴章、劉銘傳從常熟進攻江陰、無錫；南路則下攻吳江、平望，切斷浙江太平軍增援的道路。二年（1863年）七月，程學啟部兵臨蘇州城下，太平天國忠王李秀成率軍自天京往援，與北路淮軍大戰於無錫大橋角，太平軍失利。是時，蘇州太平軍守將納王郜永寬等發生動搖，與程學啟部秘密接洽獻城事宜。十一月初五，郜永寬等殺死守城主將慕王譚紹光，開城投降。但淮軍入城後，太平軍八降王率部屯居半城，不願剃發解除武裝，而是索要官銜及編製。為此，李鴻章采納程學啟的建議，誘殺了八降將，並遣散餘眾。蘇州殺降，盡管引起戈登的不滿，一度鬧得不可開交，但就李鴻章來說，畢竟消除了“變生肘腋”的隱患，正如其在稟母親的書信中所稱“此事雖太過不仁，然攸關大局，不得不為”。曾國藩接報後，讚賞李鴻章“殊為眼明手辣”。
此後，淮軍節節勝利。今年4月，攻克常州，太平天國護王陳坤書被捕殺。蘇南地區的太平軍基本被肅清。
自己在執掌這東南一隅的期間，可以說已經是取得了絕大的勝利了。
可是，每當自己的轎子來到這十六鋪碼頭，他都不由得想起2年前，9000人的淮勇在上海人挑剔的目光下拖著大褲腳，肩上扛著鳥槍在碼頭集合的情景。
那個時候，不要說洋人，就是一般的上海百姓，誰人會瞧得起淮勇的呀？可是，勇就是勇，幾仗下來，就讓這些嘰嘰喳喳的上海人識得了誰才是硬角色！