嘉靖三十四年（1555年）秋天，戚繼光被調到倭患最嚴重的浙江。第二年，被任為參將，負責寧波、紹興、台州(今浙江省臨海市一帶）3個府的防務。戚繼光剛一上任，就傳來倭寇入侵龍山所（今浙江省慈溪縣境內的龍山鄉）的警報。他立即率領部下趕去圍剿/他和總兵俞大猷配合作戰，運用靈活機動的戰術，把倭寇打得大敗而逃，獲得了他到達浙江以後的第一次大勝利。
龍山所戰役以後，倭寇又流竄到台州騷擾。戚繼光聞訊趕到台州，用迅雷不及掩耳的疾速行動，直撲正在台州四郊燒殺擄掠的倭寇，把他們分割包圍，逐個殲滅，又打了一次大勝仗。
兩次戰役雖然都獲得了勝利，但是在戰爭中戚繼光也看出了一些問題，那就是浙江原有的軍隊由於平時缺乏訓練，戰鬥力比較弱，而從外省調入的軍隊雖然戰鬥力較強，但是紀律很差，常常有魚肉百姓的違法亂紀打為。這兩部分軍隊都不能成為抗擊倭寇的主力軍，必須另外訓練一支戰鬥力強紀82律嚴明的隊伍，才能把抗擊倭寇的艱巨任務承擔起來。為此，他向浙江總督胡宗憲提出了訓練新軍的建議。胡宗憲本來覺得多一事不如少一事，不想訓練新軍，可是反過來想，覺得倭寇不斷騷擾，地方上蒙受損失，這是他做總督的責任沒有盡到，容易受朝廷的指責，所以也就同意訓練新軍。於是戚繼光就到金華、義烏一帶去招募身強力壯的礦工和沿海地區熟悉水性的漁民參加軍隊，對他們進行嚴格的訓練。
戚繼光訓練的軍隊號稱戚家軍,分為陸軍和水軍兩部分:陸軍主要練習鴛鴦陣，其具體陣式是每12名士兵編成一隊，隊長在前，後麵分為左右兩行，每行5人，最後一名是管做飯的夥夫。左右兩行人的排列順序是“第一名為藤牌兵，第二名為狼筅兵，第三四名為長槍兵，第五名為大刀兵。藤牌兵的作用是擋住敵人的弓箭和長矛，掩護隊伍前進。狼筅兵所用的狼筅是一根上麵帶有竹枝的毛竹，頂端裝一利刃，可以直刺，也可以橫掃，是進攻用的。長槍兵的任務是挺槍直刺敵人，也負責進攻。大刀兵手執短兵器大刀，在近距離肉搏時砍殺敵人。這樣，整個隊伍就成了一支長短兵器互相配合，防禦性武器與進攻性武器互相配合，進可以攻，退可以守，能分進合擊、機動靈活的隊伍。這鴛鴦陣是戚繼光的創造，是在他熟讀兵書，又根據抗倭戰爭的實際需要而設計的練兵陣容。
水軍的訓練項目有駕駛、泅水及使用各種武器，準備在海上和江河湖泊中跟倭寇作戰。為了水軍的需要，戚繼光命工匠打造各式各樣大大小小的戰船，布置在海岸線上各港灣和江河湖泊之中，做好隨時迎擊倭寇的準備。
為了適應隨時隨地能投入戰鬥的需要，戚繼光規定，軍隊中的夥夫在平日沒有戰爭時埋鍋做飯炒菜，供士兵食用；戰時則隻烙燒餅，燒餅中間有一個洞，可以用繩子穿起來背在身上，乘戰鬥的間隙拿來充饑。這種燒餅叫做光餅，相傳也是戚繼光的一種創造。
在戚繼光訓練軍隊的同時，倭寇也在不斷地尋找機會，想要擴大騷擾的範圍。嘉靖四十年，倭寇聚集了2萬多人，大舉進犯浙江。從奉化到太平（今浙江省溫嶺縣沿海各縣紛紛告急。戚繼光製訂了“擒賊先擒王”的作戰方針，他偵察到倭寇的主力在寧海，便率領戚家軍主力部隊直撲寧海。經過激烈戰鬥，打死了幾名倭寇頭目，剩下的倭寇趕快乘船逃走。另一股倭寇趁寧海戰事正酣之際，偷偷溜到台州城下的花街騷擾，在那裏奸淫擄掠。戚繼光知道消息後，乘寧海戰役勝利的餘威，帶著戚家軍奔襲花街。倭寇沒有料到戚家軍的行動會如此迅速，結果被打得措手不及，不少頭目被擒，有一些倭寇在逃走時失足落水淹死。戚家軍又一次獲得了重大勝利。