以小和田光盛為頭目的倭寇攻打溫嶺縣城的計劃破產，被明軍水陸部隊趕出海麵。往哪裏去呢？小和田光盛想，眼下沒有好去的地方可去，不如回到原來的老地方岑港。
小和田光盛為什麼把岑港作為老地方呢？在杭州灣海域的南側、寧波府東部海域，有一個港口城市密集的區域，從北向南依次分布著岑港、定海、瀝港、普陀、雙嶼港五個港口城市，其中岑港位於最北部，從杭州灣出外洋，岑港首當其衝。反過來說，船隻要從外洋駛入杭州灣，大多在岑港停留。岑港與杭州灣北岸的乍浦、、柘林隔杭州灣相望，由岑港可以徑直駛向乍浦和柘林。岑港是著名的避風港口，水深、港闊、浪小。五峙山列島雄峙於岑港西北部，使岑港作為倭寇巢穴頗有周旋餘地。這種特殊的地理條件使岑港早就成了倭寇的巢穴之一。早在雙嶼港被朱紈打掉以前，岑港就已經成為倭寇的活動據點之一。雙嶼港被明軍搗毀後，倭寇在沿海據點站不住腳了，在岑港的倭寇也都暫時離開岑港去他處漂泊。朱紈被對頭扳倒自殺後，倭寇卷土重來，岑港從此成為倭寇最重要的巢穴。
最近兩年裏，倭寇出於軍事需要，在岑港大量修築軍事設施，在岑港修築了木城。司前街後麵的岑港山上修築了堅固的軍事堡寨。岑港地勢複雜，易守難攻，於是倭寇準備把這裏作為長久的基地。
小和田光盛為頭目的倭寇在杭州和鬆門衛溫嶺連續遭受明軍沉重打擊後，準備回到岑港暫作修整。想不到在岑港附近海域又遭到署都指揮僉事劉恩至水軍的截擊。這劉恩至是六年前的武狀元，個人武藝可以說是整個大明天下的第一高手。劉恩至憑著一把一百零八斤的大刀，曾經在搗毀雙嶼港的戰鬥中大顯神威。此時小和田光盛在杭州和台州溫嶺連續遭受明軍打擊，心中怯戰，被劉恩至水軍一頓炮火，當即掉頭向著定海方向逃跑。劉恩至率領水師緊追不放，倭寇不敢在定海停留，直接進入普陀山的蘆花港，準備上普陀山憑險死守。劉恩至知道倭寇的目的，搶先封鎖了由蘆花港上普陀山的道路，對蘆花港的倭寇進行持久的炮擊。由於小和田光盛的部隊長時間地流動作戰，特別是在杭州和台州溫嶺兩次大戰中，武器彈藥幾乎消耗殆盡，所以此時麵對明軍的炮擊，完全沒有回擊的能力，經過明軍長時間的持續炮擊，多艘船被擊沉，一百多人被打死或者溺死。倭寇倉皇衝出包圍圈，向著臨山方向逃跑了。
臨山所城位於杭州灣南岸，餘姚縣西北部，是浙東著名的“三衛”之一。這裏麵山背海，環衛皆山，故名臨山衛。臨山從唐代開始便有明確行政歸屬，據唐《十道誌》載，當時臨山分別歸屬於姚娘、餘福、餘支三裏。明洪武二十年，信國公湯和於餘姚上虞的西北部建置衛所巡司，以禦倭保疆。於是在上虞故嵩城東山三都修築臨山衛城，抽調南北各省軍守衛，後來實行從台州和溫州等地征用民夫中的四分之一作為軍隊駐守衛所。包括左右中前後五千戶所，外轄三山、瀝海二守千戶所，並隸屬浙江都指揮使司。
臨山衛城轄地東至三山所六十裏，西至瀝海所六十裏，南至餘支湖五裏，北至海五裏。城內街巷包括東西大街、十字路、學堂弄、鮑市弄、雅貌弄、蔣家弄、卞家弄、當店弄、新邵家弄、染店弄、落橋弄、天寶弄、土地堂弄、馬兆河等。臨山衛公署衙門位於大街北部，鳳山鎮遠樓下。有廳五間，偏房三間，左右耳房各四間，左右史廊各十一間，儀門三座，外門三座，門前有旗台兩座。在儀門東西兩側分別建有經曆司、知事廳、土地祠、鎮撫司、獄房、以及左、右、中、前、後五個千戶所辦公用房。在倉山的東部，運河的北部，還有一座軍糧倉庫，倉庫寬二十六丈，進深六十丈。