林紹璋部的慘敗大展了曾係湘軍的氣焰，曾國藩接著又指揮部下乘勝追擊。太平軍在湖南僅有的兩個城市，常德和嶽州均告吃緊。楊秀清大怒，即刻追究湘潭戰敗之責任。
東王府裏，楊秀清先審問林紹璋：“本軍師讓你作征湘軍主帥，對你委以重任而你卻負我厚望。湘潭一敗湖南大局不可收拾。你知罪麼？”
林紹璋雙膝跪地，低垂腦袋，神情十分痛苦，道：“卑職深感罪孽深重，辜負東王苦心栽培，貽誤征湘大業，即便處死也無所怨言，願聽東王發落。”
楊秀清看著他可憐兮兮的樣子，一來覺得他還算聽話，二來他的妹妹是自己寵愛的妃子，心裏自軟了三分，於是帶著寬容的口氣說道：“本軍師已聽人說過，湘潭之敗主要責任應歸咎於張子朋。聽說他對新兄弟亂開殺戒，激起內訌，使數萬新兄弟不聽調遣。果是如此麼？”
林紹璋正好嫁禍於人：“東王明斷，那張子朋性情驕橫，平日所發號令一日數改，已使弟兄們無所適從。由湘潭進攻長沙時，部隊多為沿途新招新兄弟，戰鬥經驗缺乏，一聞炮響旋即潰退。張子朋魯莽行事，指揮督戰隊亂殺新兄弟，遂激起內訌。卑職出麵調解也無法挽回局麵，卑職也有不可推卸之責任。”
林紹璋又詳細述說了張子朋仗著北王靠山，驕橫無忌的一些實例，楊秀清經調查核實後，決定嚴厲處罰。他最不能容忍的是其他王爵的威風蓋過自己的威風，他要借此給韋昌輝一點顏色看。
楊秀清命令東殿尚書傅學賢道：“你速去將北王叫來，就說有緊急軍務相商。”
傅學賢遵命直奔北王府，見到韋昌輝行禮道：“東王有緊急軍務相商，請北王速去東王府相見。”
韋昌輝自去年在南京通濟門戰敗後，反而被楊秀清委以重任，一直負責整個軍情的上傳下達，以及一部分人事安排，張子朋就是因為他的關係得了個恩賞丞相，繼而被派往湖南指揮水師，如果張子朋有本事率部奪取長沙，那將會飛黃騰達。可是張子朋斷送了整個征湘大業，連帶韋昌輝也一起受處罰。
韋昌輝無數次去東王府商議軍務，雖然楊秀清性情高傲，專橫跋扈，有時在語言上讓韋昌輝感到難堪，但以韋昌輝善於奉迎的性格，還能夠哄住楊秀清。所以建都南京一年多，楊、韋之間尚未出現什麼尖銳的矛盾，大麵子上都還過得去。
一聽說東王有緊急軍務相商，韋昌輝不敢怠慢二話沒說匆匆忙忙就趕來東王府。他知道楊秀清軍令向來嚴厲，有事相商你不及時趕到會受到斥責的。
韋昌輝每次去東王府都好像成績不好的小學生，去麵見嚴厲的老師，誠惶誠恐，小心謹慎，說話稍不注意就會受到楊秀清喝斥。這是他一直感到害怕的。
韋昌輝此去東王府所遭受的非人待遇，不僅僅使他感到害怕，更讓他對楊秀清產生了刻骨的仇恨。
韋昌輝隨傅學賢來到東王府，見到楊秀清，他照慣例跪下說道：“小弟韋正叩見九千歲！”
按往日禮節，楊秀清應當讓韋昌輝平身請坐，可是楊秀清完全打破常規，開口第一句話就讓韋昌輝大吃一驚：“正胞此來你可知罪麼？”
韋昌輝不由一愣，丈二和尚摸不著頭腦，隻得甕聲甕氣的回答道：“小弟正在北王府幫四兄料理軍務，不知罪從何來？”
楊秀清語氣似刀：“你在幫我料理軍務嗎？你任人唯親重用張子朋，魯莽行事，亂殺兄弟，引起內訌，使我征湘軍湘潭慘敗，致使西征戰事節節失利，你還不知罪麼？”