杜飛回城之後統算東鄉重位報上來的數字，短短的幾天內城內的士兵從幾十名一下子膨脹到了近千名，原本鬆懈的城防一下子變得嚴密起來。
雖然花了不少錢，但是杜飛望著自己漸漸充實的兵力心裏卻一天天的安穩下來。
此時島津義久的討伐軍已經歸來，他們一直打到左伯城才踏上歸途，一路上披荊斬棘，以不到千人的兵力就攻陷了防守空虛的港城，縣城，但聽到佐伯城的守將是高橋紹運時，他沒有多猶豫，立刻選擇班師回歸。
當他看到原本嬴弱不堪的都於盡城此時已經兵強馬壯時，心中十分驚訝，對著前來迎接的杜飛失聲問道：“這些士兵是從哪裏冒出來的？前任城主真壁將實挨個村去抓壯丁幾個月都沒湊夠二百人，你用了才不到一個星期？居然有了近千之眾！”
“嗬嗬，”杜飛一把把東鄉重位拉出來：“這可都是東鄉重位的功勞？殿下您給了我一個得力的助手啊！”
“哦，是這樣啊！我都有些後悔了？哈哈，你們好好幹吧！跟著我們島津家是大有前途的！”說完島津義久對著身後的士兵們大喊一聲：“快速行軍！我們要盡快趕回大偶高山城！”
“什麼？義久殿下，剛剛結束征討？您不在這裏休息一下嗎？”杜飛好奇地問道。
“不了，南日向國又鬧起一向宗一擲起義來了？真是要命。我的趕快回去鎮壓！”島津義久一臉的無奈：“真是火上澆油！伊東家的一些殘餘勢力還沒清掃完那。”
“要不要我們幫忙？正好練練兵！”杜飛看到島津義久的窘態
不由得脫口而出。
島津義久伸出手來親昵的拍拍杜飛的肩膀說道：“不用了，這些小麻煩我能搞定的！你還是多多鞏固你的城池吧！要知道大友家那些家夥是不會善罷甘休的！”
說罷，他帶著看上去筋疲力盡的討伐軍們匆匆離去，隻留給杜飛一個模糊的背影。
杜飛明白此時的島津義久心裏肯定是非常希望杜飛能帶兵去幫他，但是大友家依舊咄咄逼人的勢力讓他又打消了這個念頭。畢竟這些城池都是島津軍辛辛苦苦死傷無數才打下來的，一旦得而複失不僅影響士氣，還使得那些士兵的死顯得毫無意義。
於是杜飛開始安下心來用心經營自己的城池，他仿照人劼城那樣，開始將自己的城牆建寬修厚，並從中加入了中土的城牆建造技術，用糯米夾雜在巨石之中使之更加堅固。
都於盡城原本有兩條防線，按照原先的計劃，杜飛原本要建立起三丸和四丸。但經過杜飛的精密估量，由於城池的根基太小，所以他選擇了隻增建一條。但是這道防線不僅堅固厚實，上麵還滿滿的全是石頭砌成的塔哨，間隙之處還插滿了朝天的竹簽。其堅固程度比起人劼城的有過之而無不及。
建好了城池，杜飛又開始進一步的擴軍。城池的麵積加大了，所能居住的士兵也多了，他一口氣從自己的轄區又招了兩千人，其中一千都是在三下村招募的。由於他上台之後采取的是比較溫和的政策，無論是對商人還是對農民都比較實惠，受到了大多數人的廣泛擁護。
所以參加他軍隊的人一天比一天增多了，原計劃是要再擴招兩千人，結果到了最後竟然踴躍的來了三千人！
這樣一來擴建後的城池也住不下了，杜飛隻好學習內城，在城池的周圍建立了城外城，所不同的是內城的那些房屋都是武士自己掏腰包建成的，而杜飛的這些武士宅和足輕住的小隔間都是他自己給士兵掏腰包建成的。