戚：但他們每次打仗之前，都要和我談條件。
譚：談條件？
戚：作戰以前，他們要求必須知道作戰的對手和人數，然後自行內部商議，如果認為能打，就作戰，但要是他們認為不能打，即使費盡口舌，他們也絕不會賣力。
譚：……
戚：相對而言，紹興兵更加聽從命令，無論打什麼仗，他們從來不會拒絕，完全服從，而且不怕辛苦，紮營修城之類的力氣活，安排他們幹，他們就會盡力去幹，且從無怨言。而在戰場上，如果敵人退卻，他們會主動追擊。
譚：遵從軍令，作戰勇猛，這不是很好嗎？
戚：但問題是，如果敵人進攻，他們就會主動撤退。
譚：……
戚：當然，如果敵人再退，他們還是會追，但若敵人回軍，他們會再次撤退，據我統計，但凡與敵相接三十步內，即將肉搏之時，他們一般會全軍退走。總而言之，關鍵時刻實在靠不住。
譚：那你打算怎麼辦呢？
沉默片刻後，戚繼光用一聲重重的歎息結束了這次談話：“我也沒有辦法。”
其實在兩人的這次談話中，涉及了一個十分重要的理論——地理決定論，一般說來，生活在艱苦山區的人性格比較強硬，而且民風剽悍，不怕死，而在經濟發達地區，混碗飯吃實在不難，不到萬不得已，鬼才願意拚命。
處州地區多山，經濟條件差，是少數民族聚居區，當地人向來信奉腦袋掉了碗大個疤之類的玩命理論，紹興山清水秀，讀書人眾多，且主要從事腦力勞動（如徐渭），實在不行還可以搞點旅遊服務業，實在犯不著去拚死拚活。
而對於這種地區差異性，單靠訓練是無法解決的，戚繼光確實沒有辦法。
沒辦法就隻能湊合著過了，但逢作戰，戚繼光隻能安排紹興兵守營，然後去跟處州兵做思想工作，勸說他們奮力殺敵。此來彼往，疲於奔命，每次打完一仗，都得累得半死不活。
為了讓自己不至於在戰死之前就被活活累死，戚繼光決定去尋找一群勇猛強悍的人，來代替現有的士兵，組建一支真正戰無不勝的戚家軍。正如他跟胡宗憲所說的那句話——堂堂全浙，豈無材勇？他相信自己終究是會找到的。
一年之後，他終於找到了合適的對象——因為一次偶遇。
嘉靖三十七年（1558），戚繼光因事出公差，事情辦完後，他沒有原路返回，卻兜了個圈子，準備視察民情。
然而當他偶然路過一個地方的時候，卻看到了一幕讓他觸目驚心的情景。
他經過的地方，叫做義烏，他看到的場景，是打架鬥毆。
作為一名見慣殺人放火、屍橫遍野的軍事將領，戚繼光的心理承受能力是相當強的，但他依然被這次鬥毆震驚了，因為這並非一次尋常的街頭流氓打架，從某種意義上說，這是一次載入史冊的鬥毆，是一次改變了抗倭曆史的鬥毆，是一次光榮、成功、團結的鬥毆。
事情是這樣的，義烏原本屬於經濟不發達地區，老百姓都很窮，偏偏老天爺夠意思，該地陸續發現許多礦藏，於是當地的農民紛紛離開耕地，改行當了礦工。
礦自然比糧食值錢，慢慢地義烏人發家致富了，這下子旁邊的窮兄弟永康（今浙江永康）不幹了，希望義烏能拉兄弟一把，有錢大家一起賺，有礦大家一起挖。
但義烏人不答應，俺們挨了那麼多年的苦，好不容易熬出點盼頭，現在你來吃現成的，你算老幾？
然而永康的窮兄弟們依然出發了，帶著農具、鐵鏟和管製刀具，向著夢想中的致富地點奮勇前進，反正窮命一條，當今世上誰怕誰，吃定你了！
義烏方麵得到消息，立刻組織數千人前往攔截，雙方在義烏城外的八寶山（偏偏是這名字）相遇，就此開始了這場慘烈無比的鬥毆。
戚繼光之所以有幸看到這幕盛況，絕不是人家上午開打，他下午就趕到。真正的原因在於，這是一場十分特別的鬥毆，義烏的百姓們用實際行動證明了一個事實——原來鬥毆也是可以曠日持久的。
自嘉靖三十七年（1558）六月起，義烏礦工、鄉民與從永康趕來的開礦者爆發械鬥，雙方參與毆鬥人數累計達三萬人左右，曆時四個月，直到秋收方告結束，永康人被趕回原籍，雙方死傷共計兩千五百餘人。
那是讓戚繼光永生難忘的一幕，無數平凡的義烏百姓在那一刻變得如此不平凡，他們不論男女老幼，大家一同上陣，用所有能找到的武器打擊敵人，農民用鋤頭，礦工用钁頭，連家庭主婦也拿起了菜刀，眼中冒著凶光，狂叫著衝進敵陣，大砍大殺，生人勿近。
他們不但砍人勇猛，還極具犧牲精神和優良的鬥爭傳統，父親傷了兒子替，哥哥殘了弟弟上，就連被人打到剩一口氣，抬到家就死的人，臨死前還要留下一句遺言：我死之後，你們接著打！