除了少數野心勃勃之輩，士大夫若未遭大變，的確不至於輕易就會受到諸侯們的官爵誘惑。要讓他們感覺南海諸島並不算天涯海角，讓他們不將南海諸島與野蠻、瘴鬁等同起來，亦非一朝一夕之功。相比那些海商而言，大部分士大夫，更缺乏勇氣，更瞻前顧後。海商們隻要有足夠的利益可圖，他們全無畏懼，亦很少有人會在乎是做宋國的臣民還是做諸侯國的臣民，但是士大夫就不同，東周時代遊士的風範，在他們身上早已蕩然無存。他們心裏擔憂的，是漢代的故事——西漢為了打擊諸侯國，曾經下達過歧視在諸侯國擔任官職的士人的法令。
衛棠原本說服了五個人，但有兩個人最終因為暈船而退縮了。不過衛棠並不沮喪，他們要去的地方，他們要做的事業，也不需要這樣軟弱的士人。
他也不需要道德君子，雍國需要的是為了功名利祿什麼苦都肯吃的才智之士。這願意隨他去雍國的這三個士子中，一位才學過人，但運氣欠佳，屢試不第，最後隻能靠算命糊口；一位卻是“鬼迷心竅”，家徒四壁，卻偏偏去西湖學院學什麼格物學，全不求安身立命之道，結果欠了一屁股的債。這兩人皆是因窮途末路，見到衛棠，才下定決心去雍國謀取富貴。至於剩下的那一位，卻是衛棠重金相聘延致——此君原是白水潭沈括的入室弟子，其後曾入兵器研究院，頗受重用。但他好酒、好美食、好狎妓、好關撲，終於債台高築，因試圖盜竊兵研院的黃銅，被掃地出門，其後改名換姓，偷偷跑到杭州投靠同窗，在譯經樓謀了個差使，但他到了杭州，又是整日流連青樓勾欄之間，很快又欠下幾百貫的巨款……此番衛棠無意中聽到他的事跡，千方百計尋到此君，他雖不願終老異域他鄉，但衛棠答應他為雍國效力五年，即酬以千兩白銀，卻終於將他打動。
兵器研究院的人，在大宋朝並不見得有多高的地位。但果真要想招攬一個這樣的人，卻是可遇而不可求之事。衛棠覺得自己能招募到此君，實是雍王的運氣。這樣的人，若是以前，便連衛棠亦覺得是個無可救藥的小人，在大宋朝自免不了被人唾棄。但對雍國來說，他的德行如何，那根本不重要了。重要的是，此君的的確確知道許多兵器的造法。
想到這裏，衛棠對雍國的前途，更抱信心。
雍國的確是有天命庇佑的。
“官人，馬上就要開船了。”
一個“僮仆”走到他身後，提醒道。衛棠輕輕唔了一聲。這小孩又黑又瘦，個頭也不高，衛棠問過他年紀，差不多有十一二歲，但看起來，卻好象隻有七八歲。船上一共有三十多個這樣的小孩，都是杭州附近的乞丐孤兒，這也是他費盡千辛萬苦才找到，除了挑出兩三個來權當僮仆使用，其餘的都是偷偷帶上船來，和貨物一道藏在船艙裏。
對於諸侯國來說，人丁太少，是顯而易見的問題。雖然宋朝明發詔書，允許諸侯們招募部眾，但實際上這個問題並沒那麼容易解決。這一麵是因為能安居樂業的人不願意遠赴異國他鄉，另一方麵，朝廷的詔令，與地方官員的利益，也有極大的衝突——大宋朝考核地方官員政績的一條主要根據，便是當地戶口丁口的增長，因此，地方官員不願意本地的人口流失，因而百般阻撓，亦是情理當中之事。他們在這方麵掌握著極大的權力，就算平時有宋人想出海，無論是做水手或是做海商，都必須有鄉裏的頭麵人家或者數戶鄰居擔保，才可能讓地方官員開具公憑。而倘若沒有這憑證，是不被允許登船的，否則被市舶務查到，就會被視為販賣人口，那在宋朝，是極嚴重的重罪。
這些內情，是衛棠到了杭州以後，才慢慢弄清楚的。為了得到幾張出海的公憑，他費的力氣並不比招募人手時少。但如這些乞丐孤兒，若在杭州沒有勢家大族支持，想得到公憑卻是千難萬難。他花了好大氣力，才弄到幾張賣身契，將幾個小孩當成他的僮仆光明正大的帶到船上。其餘幾十個小孩，卻隻得冒一回險了。