張經死後，由周珫代任。李天寵的遺缺，就委任給了胡宗憲。不久，又罷免了周珫，任南京戶部侍郎楊宜為總督。楊宜擔心會重蹈張經的覆轍，凡事必定先和趙文華商議，趙文華的氣焰越來越囂張。隻是狼土兵隻服張經，不服其他人，從此不受約束，開始騷擾民間。倭寇得知內情後，又在柘林集合，分別侵犯浙東、浙西，直達安徽，從寧國、太平折入南京，轉戰數千裏。應天巡撫曹邦輔，派兵前去剿匪，與敵寇相遇。僉事董邦政，奮勇突陣，連連斬殺十多個賊匪。賊兵大敗而逃，被官兵追到楊家橋，四麵圍住，見一個，殺一個，所有柘林來的寇匪被殺得一個不留。趙文華聽說敵寇被圍，急忙帶兵北上，想搶曹邦輔的功勞，走到楊家橋，敵寇已經被全部殲滅，曹邦輔已經上疏告捷。趙文華氣得不得了，就挑選了四千名浙江兵，與胡宗憲一起，準備進攻柘林老巢，並約曹邦輔聯合剿殺。江南兵分為三路，浙江兵分為四路，東西並進。到了鬆江，聽說柘林賊已經轉到陶家港，就在磚橋紮下大營。寇匪派精銳偷襲浙江兵，趙文華抵擋不住，隻好退走。江南兵也陷入埋伏中，死了兩百多人。趙文華將罪過歸在曹邦輔頭上，說他拖延時間。世宗又要下旨拿問。給事中孫浚、夏栻等人一再說曹邦輔為人腳踏實地，之前楊家橋一戰，功績顯著，此次愆期，一定有別的原因。世宗這才讓趙文華秉公辦理。趙文華料定賊寇不好平定，立即申請還朝，世宗準奏。趙文華到了京師，又說楊宜、曹邦輔等人沒有平賊的能力，隻有胡宗憲可以勝任。於是楊宜免職，曹邦輔戍邊，獨獨升胡宗憲為兵部侍郎，總督東南軍務。
趙文華回到京城後，先帶著珍寶到嚴府請安。見了嚴嵩以及嚴世蕃，當即將奇珍異寶獻了幾件，嚴嵩心裏自然喜歡。趙文華又到內室，叩見嚴嵩的妻子歐陽氏，獻上精圓的珍珠，翠綠的翡翠，還口口聲聲叫著母親，說了無數感激的話。婦人家既喜愛珠寶，又喜歡聽奉承話，看著這義子文華，比親生兒子都要好數倍，真是愛上加愛，喜上加喜。這時候，嚴嵩正好從外麵進來，趙文華急忙搶步迎接，腰間的佩帶都在兩邊飄舞，像歡迎一樣。嚴嵩就座後，歐陽氏忽然說：“相公年紀大了，所以遇到事情總是會忘記。”嚴嵩就問是什麼事情，歐陽氏微笑著指向趙文華的腰帶：“我兒這樣為國操勞，奔走於南北之間，還用著這種腰帶，難道相公不能幫他換副新的嗎？”嚴嵩用手撚著胡須道：“老夫正在籌劃呢，夫人不必著急。”趙文華急忙下拜：“難得父母如此厚恩，為孩兒設法升官，孩兒感激萬分！”嚴嵩隨口說：“這也沒有什麼難的。”歐陽氏又親自離座，去扶趙文華，趙文華接連磕了幾個響頭，這才起來。當即由嚴嵩賜宴，二老上座，趙文華坐在左側，嚴世蕃坐在右側，喝到很晚才散席。
沒過幾天，世宗就升趙文華為工部尚書，並加封他為太子少保。趙文華喜出望外，急忙去叩謝嚴嵩。嚴嵩對他說：“我看上麵還是有些懷疑你，不過是看在我的麵子上，才加了你的官爵。你還要想個法子，討皇上喜歡，才能保住這爵位。”趙文華叩頭答道：“還要仰仗義父賜教。”嚴嵩撚著胡須說：“依我看來，不如再去視師。”趙文華說：“兵部已經派侍郎沈良才去了。”嚴嵩笑道：“朝旨都能改，兵部算什麼？”文華大喜，回到家中之後，立即上疏自薦。嚴嵩又在世宗麵前說：“沈良才不能擔負重任，不如仍然派趙文華前去，江南的百姓都感念趙文華的恩德，現在都伸著脖子盼望呢。”世宗就命趙文華兼任右副都禦史，提督浙閩軍務，再下江南。