反對者認為，這些南遷的歸正人是敵國的設下的毒計，利用這些流民來蠶食宋國。一方麵，南遷官員眾多，使南宋冗官現象非常嚴重，給國家帶來巨大的負擔。另一方麵，本來土地有限，蜂擁而入的歸正人侵占了宋人的土地，又增加了東南民眾的生存壓力，把原來的良民逼成“盜賊”。
還有在宋軍中，尤其是前線最具戰鬥力的部隊中，由於歸正人的比例逐年增加，使軍隊的管理出現隱患。端平年間，襄陽、唐州、鄧州、黃陂等地北軍相繼發動叛亂。一方麵是這些北軍飽受排擠，另一方麵是宋正軍在數量上不占優勢，使軍隊內部管理失控。
事實上的確米倉中會混有幾粒老鼠屎，大量的歸正人之中，其中投機者不少。有些偽造履曆以騙取南宋的官職，或不斷地索要官職差遣讓南宋朝廷疲於應付。有些歸正人官員在地方上作威作福，仗勢欺人，敗壞吏治，還有一些是金國人安插的奸細，或竊取情報或從事破壞活動。
這些都增加了南宋官員對歸正人的疑慮與不信任。而不信任感是長期存在於南宋朝廷之中的主流態度。包括朱熹，都直接把歸正人與漢代時的宦官、唐代時的藩鎮視為一類，認為這些人都是造成社會動亂的病根。因此，許多歸正的文官多不被授實職，添差後就將他們分散地安置在各州郡中。
在軍隊中，歸正人受排擠的現象更為嚴重。影響最大的一個是山東李全的“忠義軍”，因為宋對其采取利用與挑撥的策略，使“忠義軍”最終覆滅，名義上歸附宋國的山東全境因此落於蒙古手中。另一個是宋末的劉整，因為受到排擠而投降忽必烈，成為滅宋的一支重要力量……
“陛下，如何安置這些歸正人，是否需與朝中眾臣詳議之後再做主張？”劉辰翁見小皇帝久久不語，似是十分為難，忍不住出聲道。
“不必，朕以為要厚待這些歸正者！”趙抬起頭言道。
“陛下，前車之鑒不能忘啊！”劉辰翁還是提醒道。
“當前形勢已經大不同，我朝當前雖然尚處於守勢，但是我們的戰略是北伐中原，奪取燕雲，將韃子遠逐漠北。因而招納歸正人並非是長久之計，這隻是權宜之策，一旦我們收複淮北，進軍中原，隻需就地安置便可，又何來歸正一說。”趙擺手道。
“陛下所言甚是有理，但臣……”劉辰翁聽了點點頭，卻欲言又止。
“須溪先生是擔心北伐失敗，則一切成空，我們仍需重新麵對現下的問題，而那時將更為棘手，對否？”趙笑笑說出了其心中所憂道。
“臣並非擔心陛下北伐中原，收複故土之決心，也非擔心陛下之能。隻是事有萬一，若是重蹈先朝覆轍，悔之晚矣！”劉辰翁施禮道。
“劉知府勿要過於憂心。要知當下已非當年，如今蒙元喪失江南財賦之地，財政日益困難。且其征戰數十年，兵力折損嚴重，卻難以補充，全靠簽發漢軍支撐，戰鬥力亦非從前。而我朝重歸江南，不需數年便會倉廩豐盈，又有數十萬精兵在手，北伐成功指日可待！”陳鳳林似乎又忘了陛下的警告，再次插言道。
“陳鎮撫使之言，本官也知不無道理。”劉辰翁頷首道。
“那劉知府還有何擔心？此戰我軍隻動員了一個師的兵力，便肅清了瓜步鎮之敵，早不是當年其幾百騎兵便能擊潰我們數萬大軍的時候了，隻要陛下一聲令下，沿江大軍一舉渡過大江，便能直取汴京，收複舊都……”陳鳳林牛皮哄哄地道。
“咳，當前我朝即便一時間難以收複江北，但是兵出西南，進取川蜀已成定局。而川蜀曆經蒙元數次屠戮，人口大減，需要大量人口填補，西南地區雖然已得進一步開發，卻也是地廣人稀。”趙對其的話有些聽不下去了，卻也沒有訓斥，幹咳一聲道。