胡林翼放心不下，派一個勇丁陪著李鴻章南下。兩人過江塘、下程嶺、走千嶺，一直到了長江邊，過了長江，從湖口進入鄱陽湖。李鴻章心裏茫然，知道去了南昌，少不了受大哥一通說道。大哥自從入了曾國藩幕府，對曾國藩是言聽計從，佩服得無體投地。自己賭氣出走，大哥的話肯定比胡林翼還難聽。所以，他就像闖了禍的孩子，不太敢回家，入了鄱陽湖後，就慢了下來，總是上岸小住，尤其入了贛江之後，更是借口登岸遊玩，走走停停，十幾天才到了南昌城下。
南昌城在贛江東岸，因為沿江而建，因此不像一般四四方方的城池，而是像一枚鴨蛋。城周十五六裏，共有七個城門，北麵是德勝門，往東是永和門，東南是順華門，南邊是進賢門，西南惠民門，再往北則是廣潤門，廣潤門往西北不遠就是章江門。南昌城七門之奇可以說是天下獨有――他的每個城門都是向南開。這七個城門，離贛江最近的是章江門，之所以叫章江門，是因為贛江又叫章江。李翰章辦理湘軍糧台，最主要的就是供應湘軍糧餉，為了便於發運，自然要選最靠碼頭的地方，因此辦理糧台的衙門就在章江門內偏北不遠處，緊鄰南昌縣衙。李鴻章一直乘船到了章江門外的碼頭，遠遠看到飛簷鬥拱的一座木樓，知道那就是著名的滕王閣，也就知道章江門到了。
李鴻章到章江門邊打聽湘軍糧台怎麼走，門邊有個湘勇立即過來問：“請問可是李觀察？”李鴻章是道台頂戴，所以按官場習慣，應該稱一聲觀察。原來這個湘勇正是糧台上的聽差，是李翰章派出來天天在這裏等李鴻章。“李大人安排在下，在這裏等了四五天了。”
李翰章接到曾國藩和胡林翼的信，知道李鴻章賭氣出走的原因，也知道他要到南昌來，所以打發人在碼頭和章江門上等，因為李鴻章一路磨蹭，因此晚到了幾天，也難怪勇丁說已經等四五天。
到了糧台，李翰章迎到門外，說：“老二，怎麼才到？”當著外人的麵，不好緊著埋怨，對陪李鴻章前來的勇丁說：“這位小哥辛苦你了，快洗把臉準備吃飯。”
吃過飯，安排勇丁去休息，李翰章把李鴻章叫到他的簽押房，劈頭蓋臉一頓埋怨。李鴻章早有準備，任大哥說什麼，隻當耳邊風。李翰章見他這副表情，更加生氣，說：“老二，你怎麼分不清好歹，聽不進人話!”
李鴻章說：“我怎麼分不清好歹，怎麼聽不進人話？祁門明明是絕地，我說的有錯嗎？分不清好歹的不是我。李次青丟失徽州，本來就情有可原，而且他們又是過命的交情，竟然毫無情麵，硬要參劾，聽不進人話的是我嗎？”
這話把李翰章噎得直翻白眼。論口才，他遠不是李鴻章的對手。
沉默了一會兒，他壓下心頭的火說：“老二，守土有責，主官必須與城共存亡，這是我朝的規矩。曾帥參劾次青，也不過是給朝廷一個交待，不然以後怎麼帶兵？賞罰分明，這正是曾帥的高明之處。曾帥幕中好幾十人，單單你去和曾帥理論，曾帥能不生氣嗎？”
李鴻章說：“不同意參劾李次青的，不光是我，整個督幕中，就沒有一個不反對的。我不過代大家去勸他罷了。”
“既然那麼多人反對，為什麼單單你出這個頭？”
“我是他的學生，拿著他當自己人，才去勸的。我要把自己當外人，才不去費唾沫。”李鴻章理直氣壯，“現在怎麼樣？祁門被包圍了吧？當初就該聽我的，馬上移駐東流。”
李翰章說：“我正要說的就是這事。祁門危險的時候，你賭氣離開曾帥。知道的是你們吵了一架，不知道的，肯定以為你是找個借口逃離險地!老二你動動腦子想想，你這時候拍拍屁股走人，算怎麼回事？”
這真是擊中了李鴻章的軟肋。離開祁門後他就後悔了，不是後悔出走，而是後悔走的時間有點不漂亮。如果徽州沒有丟失的時候他走，大家不會想別的，恰恰是徽州失守，祁門危機時刻，他與老師一言不和拍屁股走人，十有*大家會以為這是他的脫身之計。天地良心，曾幕中倒是有不少人已經收拾行裝，隨時準備逃走，但他李鴻章絕對沒有臨險而逃的打算。但是，問題是人家都沒走，他李鴻章卻走了。
李鴻章不再說話，任李翰章說東說西，他一言不發。接下來的幾天都是如此，李翰章一開口，李鴻章要麼離開，要麼隻當眼前沒這個人，該吃吃，該睡睡。後來李翰章不再勸，隨他去。
李鴻章不願在糧台看大哥的那張掛霜的長臉，就天天在南昌城裏晃。雖然幾經戰火，但南昌畢竟是省城，可去之處甚多。有豫章六景，分別是南浦飛雲、蘇圃春蔬、東湖夜月、章江小渡、滕閣秋風、西山積翠，有香火五盛地，包括塔前寺、普賢寺、萬壽宮、土地廟、延慶寺。這些地方，李鴻章都已經轉了若幹次，似乎比南昌人還要熟悉。他去的最多的是滕王閣。滕王閣建於唐朝永徽年間，是唐太宗的弟弟李元嬰所建。李元嬰曾經封在滕州當滕王，當時築了一樓閣取名“滕王閣”，後來他調任江南洪州－－也就是南昌，又在章江邊上築豪閣，仍冠名“滕王閣”。一千多年間，滕王閣倒了建，建了毀，已經重修若幹次，誰也弄不清唐代的滕王閣到底什麼樣，隻是根據古書記載重修，好在滕王閣名頭太大，不管是誰所建，權當作唐代滕王閣，登斯樓也，尋找初唐四傑之首王勃的慷慨激昂。凡是有點文墨的，無不口中念念有詞：“落霞與孤鶩齊飛，秋水共長天一色”。李鴻章不愧是翰林出身，一邊登樓一邊默誦，到頂樓的時候，恰好也到了篇末。贛江北去，浩浩蕩蕩，江風凜冽，如刀似箭。李鴻章站在樓頂，憑欄南眺，沒有王勃的激昂奔放，隻有塞滿胸懷的茫然空虛，想想自己已經三十七八，還是個沒有實缺的道台。離京這七八年，回想起來不過是蹉跎歲月。雖然嘴上不承認，但他為自己賭氣離開曾國藩，心裏已經後悔了。胡林翼說的不錯，一個人不僅要有才能，跟對人也很重要。今日之天下督撫，無人可與曾老師比肩。但，自己所爭，也是非爭不可，既然老師不能采納，他李鴻章也不是能屈就之人。大丈夫，要拿得起放得下!