東漢直的祖先是阿知使主。阿知使主一族在手工業中的業績顯著，其中一些人逐漸成為倭王政權中的中下級官吏，進而變成擁有氏姓的“官人豪族”，成為日本古代社會中一支不可忽視的力量。
西文首氏到達日本群島的時間，可能略晚於秦氏和早於東漢直氏。這一族的歸化漢人中有不少知識分子，在倭王政府中從事文筆工作。他們承擔政府中各種賬簿記錄的整理、外事往來文件的起草和翻譯等項工作。其中一些人也許就是邪馬台國時期從事翻譯工作的後裔。倭王政府的外事工作，在當時主要是對中國的外交往來和對朝鮮半島的外交活動。而這兩方麵的工作都要使用漢文。因此，漢文字和中國的經典書籍，通過他們的手逐漸介紹到日本，為中國的儒家思想傳入日本打下了基礎。
王氏一族原是山東半島的巨族大姓，由於避戰亂遷至樂浪郡，並在那裏做過郡守。其後裔中知識分子很多，擔任過曆代樂浪郡的各種官職。在公元313年樂浪郡滅亡後，其中一部分人移居於百濟。後來，王氏的後裔從百濟再遷移至日本，並定居於河內古市郡一帶，現今的西琳寺，據傳即西文首氏的氏寺。因所居之地靠近河道，因而和船運、物資的收藏、管理、搬運等工作發生聯係。經過長期的發展，這一族也形成擁有氏姓的地方豪族。為和東漢直歸化漢人相區別，且居於大和的西部，遂稱為西文首氏。
就這樣，秦氏、東漢直氏、西文首氏等歸化漢人，以其大量的經濟活動，逐漸形成地方氏姓大族，進入倭王政府，成為日本統治階級的組成部分。
隋唐時期中日交往頻繁，日本派遣有大量遣唐使，唐朝有時也派遣使者到日。由於航行艱險，他們往往居留下來，歸化日本。如沈惟嶽、袁晉卿等，都在日本朝廷任職。唐朝僧人也有隨遣唐使赴日的，最有名的是鑒真東渡。有趣的是，伴隨著大規模的人員交往，出現了很多唐日之間的跨國婚姻，如遣唐大使藤原清河娶的就是一位中國新娘。可見，跨國婚姻不是今天才有的時尚，早在一千多年前的唐朝就已相對的普遍了。安史之亂後，唐朝衰弱，藩鎮割據混戰，民不聊生，此時直至唐末，又陸續有不少民眾駕舟東渡，但規模已無法與兩晉時相比。甚至有傳說楊貴妃並沒有在馬嵬驛被縊死，而是隨使者逃到了日本，據說日本還有人自稱是其後裔。
移居於日本群島的漢族，不隻上述幾族。據9世紀初日本天皇政府編纂的《新撰姓氏錄》所載，在天皇政府中有一定政治地位的氏中，在京城、山城、大和、攝津、河內、和泉等地區收集起來的歸化人共有324氏(其中一部分是漢族)，約占日本全部氏的百分之三十。
日本一位史學家就說：“隻要統計一下我們祖先的數字就明白了。可以說我們現代的每一個日本人，都繼承著一千數百年前生活著的全部日本人的血液，所以，必須承認，我們不論誰的血液中，都含有百分之十或二十古代歸化人的血液。”