10世紀末，像藤原氏這樣的大家族勢力擴張，並占據了很多獨立於政府之外的莊園。高級官員可以憑借其占有土地上的農民的貢獻獲得大量財富而不向政府交稅，政府對莊園束手無策，結果造成皇室的經濟來源和法律權力都被大大削弱了。
在農村，為了避免土匪的騷擾，小戶人家向大地主尋求庇護，將自家田地委托於豪強以換取平安及免稅地位。
莊園勢力的增大，也促使莊園主必須雇傭武裝人員保衛生命和財產。
這樣，作為侍者的武士階層逐漸形成了。武士的榮譽，在於他們對領主的忠誠。12世紀末，貴族逐漸失去對政權的控製，武士團隊不斷結盟後逐漸興起了強有力的軍事家族——平氏和源氏，這兩個家族都是皇族的分支。1156年，皇太子與藤原氏支持的皇子爭奪皇位時向平氏和源氏求援並獲勝，藤原時代終結。同時，介入朝爭的過程也使得源平兩家都看到武力控製朝政的好處，於是開始互相攻擊，1160年的短暫激烈戰爭後，源義朝敗退，不久由於部下出賣而被害。
獲勝的平清盛據說愛上了源義朝的漂亮妃子而放過了源賴朝的兩個兒子：源義經、源賴朝。平清盛和藤原氏一樣，把天皇視為傀儡，甚至將自己的一個女兒嫁給天皇，後來迫使天皇退位，讓位給自己的外孫安德天皇。牢牢掌控京都之後的平家開始變得自大傲慢，並沉湎於京都的生活。源氏的力量在京城以外重新聚集在源賴朝的周圍。1181年，平清盛年邁去世。兩年後，源氏軍隊在源賴朝及其堂弟源義仲帶領下攻占京都。經過爭鬥，最終源氏的領頭人源賴朝在鐮倉建立了一個軍事政權——鐮倉幕府，源賴朝本人於1192年就任“征夷大將軍”，簡稱“將軍”，並從天皇那裏得到了任命地方守護的權力。通過地方守護，鐮倉幕府控製了各地的政務。
源賴朝的鐮倉武家政權與此前京都的貴族政權相比顯得簡約樸素，與武士的風格頗有類似。但1199年源賴朝意外墮馬而死，他18歲的兒子繼位後很快被推翻，政權落到了他母親一方的北條氏手中。
披掛長短刀、彎弓和鐵甲的武士向將軍和大名宣誓效忠。1274年，忽必烈大帝發動了入侵日本的戰爭，以900艘戰船、1.5萬名士兵遠征日本。日本的武士們在九州的博多灣迎戰蒙古戰船，假以台風相助，日本人擊退了入侵者。1281年6月，由朝鮮而來的蒙古艦隊以10萬兵力再次登陸博多灣，日本守軍以少禦多，堅持50餘日。8月15日夜，台風突起，蒙古東路軍損失三分之一，江南軍損失一半，日本人乘勢攻擊，大獲全勝。從此，1274年和1281年的台風就被稱為“神風”，“神風”被當做天佑日本的一個佐證。但是，土地匱乏加上有戰功的武士不能得到相應的褒獎，嚴重威脅到了幕府的穩定。
14世紀早期，將軍府的權威開始衰退，京都貴族和皇室諸派開始結成各自的同盟。1318年，後醍醐天皇登基後，開始利用將軍府的弱點鞏固自己的統治。到了14世紀30年代，後醍醐天皇控製了政權，祈望建立天皇專政。然而1324年遭幕府打敗，史稱“正中之變”。後醍醐天皇被流放到隱岐島。
鐮倉幕府滅亡後，1333年後醍醐天皇重新即位，翌年改元“建武”，強化天皇的權力，設置中央最高機關記錄所、雜訴決斷所，重整天皇親政的機構。戰前的日本史稱之為“建武中興”。後醍醐天皇首先廢除光嚴天皇的即位和“正慶”的年號，並宣布其發布的詔書和賜下的官位也無效。接著任命足立高氏為鎮守府將軍，並將天皇的諱“尊治”中的“尊”賜與足立高氏，足立高氏改名足立尊氏。同時為了牽製足立氏的勢力，後醍醐天皇任命護良親王為“征夷大將軍”。
後醍醐天皇的強化皇權努力，在土地支配和武士支配等各個方麵很快破綻百出，足立尊氏利用這些矛盾很快擊敗了後醍醐天皇的支持者，天皇本人也被迫逃離京都，在南方建立朝廷。期間內戰不斷，形成日本的“南北朝”，直到1392年南方天皇宣布退位。