有一次曾國藩在給左宗棠的信劄中，出於謙讓，用了“右仰”這樣的客套話，左宗棠很是不快，說道：“他寫了‘右仰’，難道要我‘左俯’不成！”據說還有一次，曾國藩開玩笑作了一聯：“季子才高，與我意見常相左”，聯中嵌入了左宗棠的名字左季高，左宗棠卻毫不示弱，迅速對一聯：“藩臣衛國，問他經濟又何曾”，還是不願輸一點點的勁頭。但二人還是甚為投契。自此後，書信往來，互幫互助，情誼日深。
不久之後，鹹豐三年，張亮基調任署理湖北總督，左宗棠也隨之北上武漢。曾國藩在湖南也寸步難行，處處碰壁，一怒之下出走衡陽，獨力創建湘軍。這時張亮基調離湖北，左宗棠也歸鄉隱居。曾國藩聞訊大喜，立刻寫信請他來幫助自己。但被左宗棠一口拒絕。這除了左宗棠認為曾國藩“才具不佳”不足以驅馳自己以外，可能嫉妒心也占了一些原因。後來左宗棠到湖南巡撫駱秉章府中當了幕僚。
鹹豐四年四月初二日，曾國藩親率湘軍首次出師，進攻駐紮於靖港的太平軍。不料大敗而歸。曾國藩沮喪羞憤之下，投水自盡，幸被部下救起。回船以後，曾國藩仍然尋找機會自殺，“其誌仍在必死”。
湖南官員聞此消息，無不幸災樂禍，唯左宗棠聞訊立即從長沙到湘江船上看望曾國藩，見曾國藩死氣奄奄，毫無生氣，不覺生氣，痛責曾國藩“糊塗”，說勝負乃兵家常事，剛剛失敗一次就自尋短見，你怎麼對得起皇上的信任，怎麼對得起天下百姓？怎麼對得起老父期望？經左宗棠一番“痛責”，曾國藩也認為自己太過悲觀，所做失當。幸虧此時湘潭大捷消息傳來，曾國藩終於重振信心。
要不是左宗棠的這一頓痛罵，或許當時死誌已絕的曾國藩真的自殺成功了，那麼也就沒有後來的天下大功，更不可能有後來的曾國藩了。所以，曾國藩對於左宗棠，還有一層感激之心。
曾國藩在湖南的境遇也立刻大大好轉，應駱秉章之請，重新搬回長沙辦公。曾國藩與左宗棠同處長沙，兩人過從甚密，“無一日不見，無一事不商”。左宗棠不但是駱秉章的高參，也成了曾國藩的高參。曾國藩對於左宗棠之才，推崇備至。鹹豐六年（1856），曾國藩老弟曾國荃在湖南募兵，寫信給哥哥討教用兵方法。曾國藩寫信給他，讓他多聽左宗棠意見：“一聽駱中堂，左季兄之命，敕東則東，敕西則西。”可見他對左宗棠才幹的絕對信任。
但左宗棠對於曾國藩，卻不僅不似曾國藩對他的敬重，骨子裏總是有些不兼容的意味，甚至還做過落井下石的事情。鹹豐七年前後，身困江西的曾國藩正處於生命中最困難、最痛苦的時期。由於手中無權，又要為湘軍籌餉籌錢，傷透腦筋，處處受官僚大吏們的排擠和刁難，幾乎步步荊棘，處處碰壁。曾國藩飽受欺淩，鬱憤滿懷，心力交瘁，走投無路，精神幾近崩潰。
恰在此時，一紙家書傳來，曾國藩父親於鹹豐七年二月四日去世。得到這個消息，曾國藩如遇大赦。他迅速把軍務交給他人，給朝廷發去一封陳請開缺的奏折後，不待皇帝批複，即於二月二十一日起程回家，為父親辦理喪事去了。
作為軍中大帥，曾國藩此舉確實有失妥當。但他的一幹朋友都對他此舉表示理解，並給以安慰，甚至鹹豐皇帝也未深加指責，給他準假三個月。隻有左宗棠給他一頓沒頭沒腦的指責，說他委軍歸家，不忠不義，不負責任，還挖苦他用兵無能，把曾國藩批了個一無是處。
如果僅限於此，倒也罷了。除了寫信責罵曾國藩之外，左宗棠在公眾場合對曾國藩更加肆無忌憚地大加譏彈。“一時嘩然和之。”都認為曾國藩不誠不忠。這恰恰是曾國藩最不能忍受的。
多年之後，他向人談起與左失和的始末時，還咬牙切齒地說：“我生平以誠自信，彼乃罪我欺，故此心不免耿耿。”曾國藩采取了一種消極的應對方法，就是任由左宗棠怎麼說怎麼寫信，都不再搭理他，采取“三不主義”——“不理睬、不辯解、不應對”，二人自此斷交。
但是，同為當時清政府梁柱的兩個人，不可能真正絕交到底。隨著戰事的激烈和局勢的緊張，所有的人都認識到了隻有重新請曾國藩出山，才能取勝有望。於是在胡林翼的協調下，左宗棠替駱秉章起草奏折，與胡林翼一起，請朝廷起用曾國藩。曾國藩聞名即起，立即起程赴任。
經過一年多的反思，曾國藩處世方法大變，一改過去的剛硬而變得圓通和氣，他到了長沙，首先拜遍大小衙門，連小小的長沙縣衙他也親自造訪。拜訪左宗棠當然也是他的重要日程。他在長沙與左宗棠一周之內數次深談，十六日又“至季高家赴宴”，終“交歡如初，不念舊惡”。
俗話說，“人是三節草，不知哪節好”，“幫人就是助己”，此言不虛。曾國藩重新出山後，一切開始變得順利起來。
曾國藩離世時，左宗棠從千裏之外的西北戰場專門送來了他署名“晚生左宗棠”的挽聯：
“知人之明，謀國之忠，自愧不如元輔；
同心若金，攻錯若石，相期無負平生”。