李鴻章的另兩位愛將劉銘傳和劉秉璋，也是痞子氣很足的人物。劉銘傳最初成名即緣於其十八歲時意氣用事殺了本族家長。李鴻章從心底裏喜歡他們的這股痞子氣。他給他們官做，給他們錢花，給他們名譽和地位，同時對他們處處回護。邁入官場後，這些人還是匪氣不消，經常做出不合官場規矩之舉：一會兒把這個縣令亂棍打死；一會兒又對那個道台施以笞刑……某日，一道台向李鴻章哭訴：“大清二百多年，從未聞說有鞭打道員之事！”李鴻章淡淡一笑：“官場上是沒有，我們現在卻身處軍中，當然按軍法從事，軍法中是打得的！”李鴻章公開對部下宣稱：“一切小錯都不用過問，一切大錯都由我李鴻章承擔！”
遣散常勝軍
李鴻章在半年之內，同太平軍連接三次硬仗，取得了三戰三捷！這三次勝利使李鴻章不僅在上海站穩了腳跟，也為他贏得了創建淮軍的信心。
這三次勝利均非輕易獲取，每次戰役都險象環生、充滿變數，李鴻章和他的淮軍在戰火中得到了考驗和磨煉。第一次新橋之戰，雙方展開了艱苦的拉鋸戰，傷亡慘重。更為雪上加霜的是，上海地區發生了嚴重的瘟疫。英軍死亡率為10％，淮軍的狀況更加不妙，70％左右的士兵都染上了瘟疫。李鴻章在書信中向友人道出個中的無限憂思：“從夏到秋，淮軍一直奔命作戰於疲累之中，如今又患上瘟疫，成百上千將士不治而亡，所剩兵丁十有六七臥病呻吟。這樣下去，淮軍精華喪失殆盡，我已經做好親臨戰場與敵人同歸於盡的準備。淮軍一旦覆沒，我李鴻章決不做生還之想！”正當李鴻章一籌莫展時，幸運之神又一次眷顧他，太平天國主將、忠王李秀成突然宣布退兵。李秀成此時接到天王洪秀全命令，要求其即刻回師拱衛天京，同時太平軍中也開始流行瘟疫。淮軍在堅持中取得了保衛上海戰事的勝利。李鴻章立即興奮地給曾國藩寫信彙報，他似乎忘記了戰爭的艱苦，得意地對老師說：“這次勝利後，我淮軍可以自立，洋人也為我所震懾。鴻章也敢學著打仗了！”曾國藩接到捷報後深為學生感到高興，但同時告誡李鴻章：取勝固然可喜，然古訓有雲：慶祝勝利要像舉辦喪禮一樣，尤其不可得意忘形。此外對待洋人一定要謙卑，千萬不要說什麼我軍精銳，不需洋人幫助的話。最後他鄭重地囑咐李鴻章，你心中有一分驕傲，士卒口中就有十分的囂張！雙方第三次戰事——四江口之戰，是太平軍最後一次光顧上海。此役過後，李秀成再也無力東顧。經過這三次戰鬥，李鴻章的實戰能力大為提高，軍事指揮才能日趨成熟。李鴻章還認識到，上海保衛戰的勝利，主要得益於淮軍配備了先進的武器彈藥，使淮軍能夠在關鍵時刻轉敗為勝。
自大輕傲的李鴻章有一個優點，即能夠因地製宜、隨時接受他人的正確意見。打退太平軍後，李鴻章牢記曾國藩警示之語，絲毫不敢懈怠，立即著手整頓淮軍。李鴻章對自己招募的“叫花子兵”和“痞子將領”非常得意，對外宣稱：“鄙人的淮軍土是土氣了一點，但最能打仗！”李鴻章整頓淮軍主要集中於武器裝備。他不惜血本，將淮軍舊式兵器全部棄置，一律改裝為新式洋槍和劈山炮，每哨配備6個洋槍小隊和2個劈山炮小隊。於是，淮軍鳥槍換炮，在武器裝備上大大超越曾國藩的湘軍。淮軍隊伍也得到迅速擴充，由原先的13營增至79營。淮軍的日子一天天好過起來。最高統帥李鴻章因戰功升任江蘇巡撫，逐步裁撤駐守上海的綠營兵，代之以初具規模的淮軍。這樣，李鴻章在上海實行有效控製的最後障礙隻剩下不肯安分的洋人。英國人華爾率領的洋槍隊，在李鴻章初至上海時確實出力不少。但正所謂此一時也，彼一時也，當淮軍更換新式武器後，洋槍隊就越來越成為李鴻章的眼中釘、肉中刺。