就在唐軍在遼東、百濟等地頻繁戰鬥的同時，對朝鮮半島有極大野心的日本開始漸漸浮出水麵。相對於高麗、新羅、百濟這三國來說，在海峽另一邊的日本一直是一個特殊的存在。公元三世紀中葉，在日本形成了一個強大的部族聯合政權，史稱大和政權。從三世紀後半葉起，這個政權開始了大規模的統一戰爭，到四世紀的前半期，它不僅統治了北九州島，而且其勢力已達到關東地方。到了公元四世紀中葉，大和政權的勢力終於侵入了朝鮮半島的南端，大和政權出兵征服了當時新羅的弁韓之地（慶尚南道），建立任那地方，設“日本府”統治之。此時新興的大和政權的實力相對於朝鮮半島南端的新羅和百濟來說是強大的，並且此時的大和政權正處於奴隸社會，朝鮮半島南端被其視為殖民地。大和政權不斷地從朝鮮半島掠奪大量的技術人員和勞動者（奴隸），並且在朝鮮半島南側進行大規模的鐵礦開采。對於大和的入侵新羅和百濟無力抵抗，百濟采取了臣服的態度，正式成為大和的屬國，企圖借助大和的勢力對抗北方強鄰高麗國，侵吞新羅國。而新羅聯合了高麗與大和進行對抗，對大和的入侵勢力作出了堅決的抵抗。大和的數次侵攻也在高麗的廣開土王（亦稱好太王）的率領下被擊敗，“倭寇”這個詞也從此被發明出來。不過大和雖然北侵失敗，但實力依然不容小窺，它在朝鮮南端的勢力也破壞了當時高麗統一朝鮮半島的進程。
在日本勢力侵入朝鮮之後，日本國內也在謀求對朝鮮統治政治上的合法性，而當時東亞的唯一國際準則便是中國的官方認可，因此日本在本國在朝鮮半島上勢力達到鼎盛的“五王時代”時，不斷派遣使者到中國南朝要求對朝鮮統治權力的冊封，可是均沒有達到預期的目的。南朝雖然對於東北亞鞭長莫及，但是也沒有將百濟的統治權拱手劃給日本。
到了公元五世紀後半葉，日本的國力衰退，在朝鮮半島的統治力下降。公元476年，高麗占領了百濟的首都，而把百濟視為屬國的日本大和政府不能挽救百濟的危急。新羅看到這種情況，認為日本不難對付，乃侵入日本的根據地任那。任那的一些豪族也起來反抗日本。百濟也有百濟的想法，企圖用任那補償它在北方因高麗侵入而丟失的領土，向日本（大王朝廷）提出了割讓任那的要求。大王朝廷最後不得不於公元512年把四個縣割給百濟。公元六世紀，大王朝廷為了挽回勢力，曾幾次遠征朝鮮，但均未成功。到公元562年，設在任那的日本府終於垮台，被新羅所滅。對朝鮮的無力化在日本激起了一係列的政治變亂，後來上台的聖德太子進行了建立中央集權國家的改革，並在公元600年為了恢複任那府，派兵一萬征伐新羅，戰爭雖然勝利，但卻沒有取得多少實際利益。兩年後日本又發兵兩萬五千人企圖再征朝鮮，可是中途失敗。此時日本國在朝鮮的勢力已經是明日黃花，風光不在了。