鞏邊固防敵喪膽功高清廉震南方
大同巡撫李文進十分了解俞大猷的才幹，俞大猷被釋放後，他立即邀請他一同籌劃軍事。俞大猷創造出了用獨輪車抵禦敵人的戰馬戰術。他曾以兵車100，步、騎兵3000，在安解堡大敗敵兵。李文進便將此上報朝廷，設置了兵車營。李文進準備襲擊板升，與俞大猷一同謀劃，果然大獲勝利。於是，朝廷再次詔令賜還俞大猷世蔭。敵寇進掠廣武，俞大猷率軍抵禦並擊退敵人。這時，鎮篤發現敵情，由川湖總督黃光升推薦，俞大猷被任命為鎮篤參將。
廣東饒平倭寇張璉幾次攻陷城邑，多年來難以平定。嘉靖四十年(156l)七月，世宗詔令俞大猷調往南贛，彙合閩、廣的兵力討平這支倭寇。這時胡宗憲兼管江西，知張璉遠出，便傳檄書讓俞大猷急速前去襲擊。俞大猷道：“應密派奇兵搗其巢穴，攻其必救，豈能以數萬大軍因追一人而輕率亂走哉？”
他火速帶領15000人登上柏嵩嶺，俯瞰敵寇老巢。不出所料，張璉果然回來救援，俞大猷一舉斬敵1200多人。敵人恐懼，不敢再出。俞大猷又利用間諜，引誘張璉出戰，自己則從戰陣後麵將其捉捕。同時，他還抓住了敵軍另一首領蕭雪峰。隨後，俞大猷遣散了張璉的餘黨兩萬多人。不久，俞大猷被提升為副總兵，協助守衛南、贛、汀、惠、潮等郡。他乘勝征討程鄉盜賊，在梁寧擒獲了徐東洲。
福建泉州俞大猷公園嘉靖四十一年(1562)，倭寇進犯福建沿海地區，先後攻陷了福清、長樂、興化等地，後來又占據平海衛，並企圖以此為據點進行更大規模的侵擾掠奪。朝廷於是急派俞大猷為福建總兵，戚繼光任副總兵，率部前往圍剿。
次年，俞大猷奉詔自贛南到平海衛。當時戚家軍還未到，俞大猷與當地守將劉顯、巡撫大臣譚綸籌劃應敵對策。俞大猷認為，倭寇勢大，與官軍在數量上勢均力敵，而敵軍士氣正盛，明軍剛集結不久，此時若強行攻城，明軍必然損失慘重。目前應該圍而不打，集中優勢兵力封鎖各要路的路口，使敵難於突圍。還要在其他地方鑿溝布阱，虛設少許軍隊。這樣既能有效地阻擋敵軍的衝擊，也可以此惑敵，亂其軍心。等戚家軍趕到後，再大舉進攻。到那時，明軍構成天羅地網之勢，平海衛中的倭寇就插翅難逃了。
譚綸對此深表讚同。最後，他力排眾議，堅持遵從俞大猷的意見，下令全軍不得出戰，擅自攻城者，按軍法論處!
直至四月下旬，戚繼光的軍隊才趕到。此時，明軍的力量比敵軍多出了幾倍。譚綸按俞大猷的布置，兵分三路。俞大猷居右，劉顯居左，戚繼光居中，從要路分別殺入。經過前一段圍困以後，倭寇士氣低落，在明軍排山倒海的衝擊下，節節敗退，逃跑時又被溝阱所陷，傷亡極大。此役明軍大獲全勝，共計殲敵2200餘人。但是因戚繼光首先攻入敵陣，所以受到了上等的賞賜，而俞大猷僅得到了少量的銀幣。
嘉靖四十三年(1564)，流竄到廣東的倭寇又在惠州、潮州一帶作亂，並與當地的海盜吳平連成一氣。他們遙相呼應，聲勢很大。而此時，官民矛盾激化，小股的反抗官府的鬥爭此起彼伏。朝廷就又把俞大猷調至廣東，想利用他的聲望和智謀抵抗倭寇，也借此平息內亂。
赴任後，俞大猷分析了當地的情況，認為內亂才是造成倭寇入侵的重要原因。於是，他決定先平內亂，使倭寇失去內應，再搗其的老巢，從而根除倭亂。俞大猷生祠碑文字俞大猷恩威並施，拉打結合，先後降服了伍端、蘭鬆三、葉丹樓等強賊，使之不敢再與倭寇裏應外合，其中一些人還轉而為抗倭出力。俞大猷還迫使大強盜頭子吳平與倭寇斷絕了往來，令倭寇陷入孤立無援之境。之後，他一個晝夜攻克倭寇陸地上的三個據點，追至海上，又全數搗毀倭寇沿海據點，使倭寇喪失立足之地，無法深入內地。雖然後來吳平複叛，再次引倭寇入侵，但已不能構成太大的威脅。
俞大猷治軍有方，紀律嚴明，手下的平倭鐵軍“俞家軍”令倭寇聞風喪膽，談虎色變，從此不敢輕易窺視南方的海疆。平倭16年，俞大猷的赫赫威名震動南方。然而俞大猷生性剛直，不懂得討好上級，因此也得罪了朝中權貴。雖然他為人清廉，身無餘財，但擋不住小人的讒言。巡按李良臣彈劾他奸貪，兵部又支持這一說法，朝廷便詔令他回原籍聽候調遣，後又起用他為南京右府僉事。俞大猷還沒有到任，就又以都督僉事身份任福建總兵官。萬曆元年(1573)秋，海寇突然襲擊閭峽澳，俞大猷因失利獲罪，又被奪職。後再以代理都督僉事起用為後府僉書，率領車營訓練。古稀之年的俞大猷曾三次上疏請求回鄉，但均未得到批準。
俞大猷為將廉潔，有超乎常人的操守。他常以古代賢人豪傑的標準來要求自己。他用兵，從來都是先定謀略再作戰，從不貪圖近功。他忠心報國，年老之後，誌向仍未改變。他一生在每個職位上都建有大功。武平、崖州、饒平等地都修建了他的祠堂，以示祭祀。譚綸曾說：
節製精明，公不如（譚）綸。信賞必罰，公不如戚（繼光）。精悍馳騁，公不如劉（顯）。然此皆小知，而公則堪大受（即重任）。
明萬曆八年（1580），俞大猷帶著未酬的壯誌，抱憾離開了人間，享年77歲。明神宗朱翊鈞追贈他為左都督，諡號武襄。
提起抗倭，人們首先想到的是戚繼光，但對於俞大猷來說，這是不公平的。嘉靖三十一年（1552），俞大猷就取得了平倭史上的“戰功第一”，而直到次年，戚繼光才開始練兵固防；並且，在二人合作的過程中，始終是俞大猷為主將，戚繼光為副帥；而且，他經曆的戰鬥次數、殲敵的數量，均在戚繼光之上。俞大猷出身小戶，比不得戚繼光“世登州衛指揮僉事”。隻是由於俞大猷一心報國，無心官場爾虞我詐，視榮辱得失如無物，功績為朝廷所輕視，功勞也被他人竊取。然而他卻超然世外，笑看雲煙，這份灑脫，正是他人難望項背的。以他衛國的壯誌，平倭的功績，民族英雄的稱號，俞大猷當之無愧。