有人擔心，若斷倭寇的退路，就會逼其深入陸地，為患更為嚴重。俞大猷卻認為，倭寇來犯雖然猖獗，但畢竟做賊心虛，不敢深入內地作戰。他們倚仗的是戰艦，如果與艦隊失去了聯係，就等於失去了根據地，變成了喪家之犬，明軍定可圍而殲之。所以，明軍首先要打掉敵人的艦隻，倭寇見斷了退路，必會死命來救，就正好入了明軍的包圍。兵法上稱：攻其必救，如何不勝。
於是，俞大猷調集福建水師布於沿海，自己親率精銳部隊，分成幾股襲擊敵艦，使敵艦處於危險的境地。岸上的敵寇見狀萬分驚慌，果然全力回救戰艦，想與海上的艦隊會合。俞大猷急令所有軍隊立即出擊。明軍從陸海兩麵夾擊，形成了包圍之勢，一舉殲滅了倭寇。俞大猷首戰告捷，倭寇從此不敢輕易上岸搶掠了。
但一次打擊是不足以讓倭寇死心的。不久，倭寇又卷土重來，且規模更大，約有兩萬餘人。他們屯聚鬆江柘林，與明軍形成了對壘之勢。柘林臨山傍水，地勢十分險要，海上戰艦可以自由出入，進可攻，退可守，是易守難攻之地，倭寇可謂占有了地利。接到急報後，朝廷派張經為右都禦史兼兵部右侍郎，主持抗倭事宜，並任命俞大猷為蘇鬆副總兵，協助張經指揮。
俞大猷率部火速趕到柘林。他拜見張經後，察看了地形，經過一番周密的思考，提出此次戰役主張：“而今之勢，敵強我弱，且其占據地利，若施以強攻，即便取勝，亦僅將敵驅走。當下之計，應先取守勢，占其入海要道，斷其退路。如此，既可牽製敵軍，令其不敢輕易深入腹地，又可贏得調兵之時日，待援兵來到，再全線出擊，一舉作氣，將其圍而殲之！”張經同意了他的主張，命俞大猷、鄒繼芳、湯克寬兵分三路，屯守金山衛、閔港、乍浦三處，按兵不動，並火速調永順、保靖軍隊增援此地，聯合進剿敵寇。援軍趕到後，明軍合圍敵人於江涇。由於俞大猷等人事先已占據了倭寇的入海通道，倭寇腹背受敵，無奈中隻好跳入水中作戰。在明軍強大的攻勢下，敵軍全線崩潰。2000倭寇被殺，溺死者無數。此次大捷，在抗倭史上稱為“戰功第一”。
然而，俞大猷率領將士出生入死所得的功勞，卻被奸相嚴嵩的黨羽趙文華、胡安宗等人冒領。俞大猷僅得50兩白銀酬勞。眾將士憤憤不平，而俞大猷卻坦然地說道：“若能倭寇得平，疆土可保，我等男兒即便為國捐軀，又有何憾？得失榮辱乃身外之物，不足掛齒矣。”為此，他揮筆寫下了膾炙人口的名篇《舟師》：
倚劍東冥勢獨雄，扶桑今在指揮中。
島頭雲霧須臾盡，天外旌旗上下翀。
隊火先搖河漢影，歌聲氣壓虯龍宮。
夕陽景裏歸篷盡，背水陣奇戰士功。
不久，新一批倭寇又突然襲擊青村所，與南沙、小烏口、浪港各路敵人會合，進犯蘇州陸涇壩，直抵婁門。他們先是打敗了南京都督周於德的部隊，隨後又分兵兩路，向北進掠滸墅關，向南進掠橫塘，流竄到常熟、江陰、無錫境內，出入太湖。危急時刻，俞大猷與副使任環先在陸涇壩大敗倭寇，燒毀敵人大部分舟船，又阻擊倭寇從三丈浦出海的船隻，擊沉7艘敵艦。倭寇被逼退而停泊至三板沙。
不久，另一支倭寇進犯吳江。俞大猷和任環又在鶯脰湖(在吳江縣南)阻擊並攻潰敵人，倭寇逃往嘉興。這時，三板沙的倭寇搶到民船企圖逃跑，俞大猷追擊至馬跡山，將其首領捕獲。不久，金涇、許浦、白茅港的倭寇都出了海，俞大猷又追擊敵人至茶山，燒毀了5條敵船。江陰蔡港的倭寇也企圖逃跑，俞大猷率領官兵分別在馬跡、馬圖、寶山襲擊了他們。當時正遇海上颶風大作，敵人的舟船被掀翻。柘林的倭寇也被官兵擊沉舟船20多艘，其餘撤退登陸。
此後，明軍再次泛舟出海。俞大猷及僉事董邦政分兵出擊，繳獲9條戰船。餘下的300多倭寇登岸，占據了華亭陶宅鎮(今在上海鬆江縣)，屢次打敗趙文華等人所率的大軍。敵寇夜間屯兵周浦永定寺，官兵集中兵力圍剿他們。而柘林失勢的倭寇以9條船在川沙窪建起根據地，不久又糾合了40多艘船。這時，巡撫曹邦輔卻彈劾俞大猷放縱敵人。世宗不辨黑白，削奪了俞大猷的世蔭，責令他以死罪身份立功贖罪。
其時，周浦的倭寇被圍困得狗急跳牆，連夜向東北方向奔逃，遭到了遊擊將軍曹克新的迎擊，被斬130多人，其餘的逃往川沙窪。倭寇會合後焚燒巢穴，奔逃出海。俞大猷會同副使王崇古入海追殲敵人。至老鸛觜，俞軍燒毀敵艦8艘，斬獲敵寇不計其數。
起初，因為倭亂危急，朝廷特命都督劉遠為浙江總兵官，兼轄蘇州、鬆江各郡，但他始終沒有建樹。在朝大臣爭相上言稱讚俞大猷的才能，嘉靖三十五年(1556)三月，世宗罷免了劉遠，由俞大猷代之，並詔令賜還俞大猷的世蔭。俞大猷陸續追殲倭寇。這一年冬天，由於平定徐海的功勞，俞大猷被加官都督僉事。
徐海掃平之後，浙西的倭患平息，隻有寧波舟山的倭寇背倚險要頑守。官兵們將其團團包圍後發起強攻。這時士兵、狼兵全已調回，而從四川、貴州所調6000兵剛到。俞大猷冒著大雪指揮戰役。倭寇死戰，殺士官一人。官兵憤怒異常，更加爭先恐後，攻進去焚燒了倭寇的木柵。敵人大多數被燒死，逃出的又被官兵追上殲滅。至此，舟山的倭寇全部被掃平。俞大猷被提升為代理都督同知。
次年，胡宗憲企圖捉拿海盜汪直，他決定采用盧鏜的建議，準備與汪直通市，以期迷惑敵酋。俞大猷竭力爭辯反對，認為應另施計謀將汪直誘捕治罪。然而，汪直的同黨毛海峰勾結倭寇又占據了舟山，並依憑著岑港自守。俞大猷圍攻敵寇雖常有小勝，但卻很難向上攻擊。先登上去的將士大多戰死，而新的倭寇又大批來到。胡宗憲口出大言卻沒有實現，遭到廷臣們詆毀，俞大猷也同時被參劾。世宗極為惱怒，削奪了俞大猷和參將戚繼光的職務，限期在一個月內平定倭寇。
倭寇死守不退，俞大猷等將領進攻愈發努力，直至嘉靖三十七年(1558)七月，敵寇不支，從岑港遷移到柯海(在定海縣海中)，泛海而去。俞大猷看準時機，橫擊敵人，擊沉其船，其餘倭賊向南逃竄至閩、廣二地。至此，俞大猷先後殺倭寇四五千人，幾乎將敵人掃平。
然而官軍圍困倭寇已經一年，疲憊異常。胡宗憲也認為倭寇自動離去對自己最為有利，於是暗中慫恿他們逃走，而不督責各將截擊。禦史李瑚就此事彈劾胡宗憲，他卻將罪名推到了俞大猷身上，誣陷俞大猷縱敵逃跑，以解脫自己。俞大猷再度入獄，並被削奪了世蔭。後來，在商議平定抗倭之功時，俞大猷才被免罪。