在傳統的“天下觀”體係中，總綱乃是“普天之下，莫非王土”，曆代中央王朝自視為文明的中心。自中心向外輻射，依照“開化”程度的不同，存在著不同的層級。依次包括：世居其地，為國守疆的番、苗、夷及地方土司；代守門戶、納貢稱臣的四裔藩屬；藩屬之外，則是未知之地。其經典描述則是：中國居天下之中，四夷居天下之偏。中國與夷蠻戎狄五方之民共為“天下”、同居“四海”。這種“天下觀”裏沒有具體的領土主權界限，一切視“文明開化”程度而定。
康熙年間清廷將台灣納入版圖之後，其“理番”政策始終基於這種“天下觀”理念--台灣全島雖屬版圖之內，但其民眾依受教化程度高低，被劃分為民、番兩級；“番”又分兩種：一是“其深居內山未服教化者為生番”，二是“其雜居平地，遵法服役者為熟番。”前者屬於“化外”，後者則須納“番餉”，朝廷教化所及，“生番”也可以向“熟番”轉化。
這種編民為熟番、生番的分類治理的方式，及其所衍生出來的“化外”、“化內”的政治話語體係，所依據的都是教化禮儀所及的程度與界限，而與疆界無關。故而，在清廷看來，將台灣東部“番地”描述成“未歸王化”、“生番化外”，並無不妥，而且可算是一次很值得借鑒的“成功交涉”。
但美國領事威爾遜卻無法“見諒”，他理解不了清廷官員的“天下觀”，隻能將“番地未歸王化”理解成清廷地方官的狡辯：“番地是中國領土，但中國對番人殺害美國船員不負責任”。在威爾遜看來，這種推托責任的方式，簡直不可理喻。雖然美國也有印第安人這種國內的外國人存在，但是威爾遜還是不接受清廷的說法，他更傾向於理解為番地非中國領土。
Rover號事件最終以威爾遜與台灣當地土番自行締結約定告終，清廷自以為得計，在其中充當了麵目模糊的“保人”角色。在大清看來這事他們幹的非常漂亮，一分錢也沒賠，就把弄死洋人的大事給了了。但是模糊台灣番地歸屬這種大事，大清卻沒有一個人意識到。
殊不知，曾強烈要求清廷承認對台灣“番地”擁有主權的威爾遜，在此事件之後，即著手開始炮製“台灣番地無主論”，多次進入台灣，按需搜集各種資料。威爾遜也算是個野心勃勃之人，準備為美利堅合眾國在東亞在開辟一片領土出來。可惜當時的美國內戰正酣，連國內的東商共和國都搞不定，哪有精力來亞洲侵略中國。威爾遜則在其計劃得不到美國政府的支持之後，轉而成了日本的幫凶，把他辛苦考察回來的報告，轉手就賣給了日本人。
威爾遜在提交給日本政府的首個備忘錄裏，如此描述了自己的“台灣番地無主論”：“如果說中國政府自己發現了此島，也可以說又由中國政府自己放棄了此島。清國政府對一部分的島民施以布政教化，那麼按道理清國政府也應管轄另一部分，但清國政府卻不能拿出事實上的有效證據。”這個歪理似通似似不通，但是日本人很喜歡。
長期受中國文化熏染的日本，顯然是了解清廷的“天下觀”理念的，曾幾何時，它也是這“天下”的一部分--明嘉靖年間，傳教士沙勿略試圖以基督歸化日本，但卻遭到了拒絕，日本人的理由是：“如果基督教確實是真正的宗教，那麼聰明的中國人肯定會知道它並且接受它。”這使得稍後來到東方的利瑪竇深刻認識到：要歸化東方，必須先歸化中國。
柳原前光什麼都明白，但他就是咬住了大清的這種模糊說詞，你不承認番地歸你管，那就是不是你的地方了，你不管，我們就替你去管管。