頂著這樣的壓力，北條軍竟然還在前進，並且已經到達城下，不少人已經攀上城垣，而且當他們到達城下時，突然發現，給自己造成大量傷亡的弓弩和鐵炮竟然同時停止了。這讓他們心中無比欣喜，再他們看來，高山家肯定和其他勢力一樣，見弓弩和鐵炮不能阻止本家的攻勢，所以再本家攻到城下之後立刻撤下遠攻軍勢，改為長槍足輕進行守城，這對北條家來說根本算不上什麼，如果說五色備拿遠攻軍勢沒辦法的話，那麼近戰方麵他們還真沒怕過誰，不過他們很快就傻眼了，迎接他們的並非是想象中的長槍刀劍，而是鋪天蓋地的手裏劍。
剛剛替換到城牆上進行防禦的高山家忍軍此刻正瘋狂的向城外大把大把撒著手裏箭，多則一次七八枚，少的也有兩三枚，如此多的手裏劍同時被甩出，頓時攀上城垣以及來到城下的北條家軍勢便被射成了刺蝟。如果說剛才他們還有勇氣一戰的話，那麼現在已經完全絕望了，無數的手裏劍已經完全封鎖住了他們的進攻之路，現在除了後退沒有任何辦法，所以還沒等負責指揮的武士下令，北條家五色備足輕便紛紛掉頭朝後方跑去。
見敵人已經暫時撤退，細川藤孝立刻名人出城打掃戰場，收攏箭支，手裏劍等殺人利器。
這一次雙方交手的時間雖然不長，但卻讓北條軍付出了近千傷亡，而高山一方卻毫發無傷，可以說細川藤孝的計劃算是成功了，隻要不出什麼意外，打退北條軍也隻是時間問題了。
至於北條成綱在見到對方守城的軍勢後，也知道，想要強攻奪城根本就不現實，所以立刻做出改變，想要用計破城，這個想法雖然是好的，不過在城中坐陣的細川藤孝怎麼可能讓他如意，所以幾天下來，不但城沒攻下，反而又折損了不少軍勢。
見城池久攻不下，不隻北條城綱急，其他北條家武士也同樣著急，所以紛紛提議一麵派軍勢包圍城池，一麵對甲斐其他地區發起進攻，不過這個提議很快便被北條成綱否定了，如果留的人少了，說不定便會被城中敵軍反殺，他現在可不懷疑高山家軍勢的能力，尤其是城中那數千神出鬼沒的忍軍，如果留的軍勢多了，那麼甲斐國中那數千高山家騎兵以及其他軍勢也不是那麼好對付的我，所以最終隻能將現狀報與主公知曉。
而當消息傳回小田原城之後，北條氏政也陷入猶豫之中，對北條家來說甲斐的確很重要，但是如果用人命去填，尤其是本家精銳的話，那就有些得不償失了，所以最終還是選擇了撤退，畢竟隻要本家精銳還在，那麼一旦高山軍入侵關東，自己完全可以選擇一處更加適合的戰場，倒時主動權便會掌握在自己手中，並且五色備長於防禦，到時天時地利全在自己一邊，高山軍也隻能無功而返，一旦兩家開始比拚消耗，那這才是對本家最有利的。
雖然北條氏政最終還是選擇撤回軍勢放棄甲斐，不過他也看出本家軍勢的不足，所以在做出決定之後，立刻開始擴充軍勢，並且除了補齊五色備的損失之外，另外也開始大力組建騎兵隊與鐵炮隊，高山軍多兵種搭配的作戰方式已經讓他感到了恐慌。
不提北條家撤軍之後悶頭發展軍備，隻說此刻在高山城的氏宗，卻接到了嶽父佐久間信盛的書信。
書信上的內容雖然簡單，但是信息量卻十分龐大，內容中寫的很明白，主公在半月前召嶽父以前往覲見，而讓人意想不到的是，招他前去的目的竟然是主公有意將其領地與德川現有三國進行交換，當然主公對此並未強行交換，畢竟德川對於織田家的作用在自己攻陷甲斐之後，已經完全消失了。而佐久間用最快的速度完成了目標，如今正得信長歡心，所以織田信長多多少少還是有些在意佐久間的想法的。
看完書信之後，氏宗心中多少有些猶豫，從大局上來說，他並不希望嶽父大人調換領地，畢竟嶽父大人在丹波的話，可以起到牽製木下的作用，一旦與德川交換，那麼自己這一方就沒有人能夠起到牽製作用了。