鐮倉時代末期發生了中國元朝蒙古大軍攻入日本的事件，使日本第一次麵臨亡國的危險，但後來蒙古艦隊兩次均遭受台風襲擊而使進攻失敗。其間在與蒙古軍隊的戰鬥中，日本武士在麵對蒙古軍隊作戰時完全束手無策。戰爭結束後，為了提高機動性，日本武士的甲胄開始變薄，由此影響日本刀的彎弧加大，刃重新變薄，豬首切先逐漸失寵。
當時日本雖然在國力上處於衰退期，但卻出現了被刀劍界視為“天才級”或日本刀“祖師級”的頭號人物———正宗。正宗的燒刃特色，類似獵犬大麥丁毛色圖案，地肌滿布灰白色刃紋點，非高超技術無法達到如此境界。
明代宋應星所著《天工開物》嚐言：“刀劍絕美者，以百鐵鋼包裹其外，其中仍用無鋼鐵為骨。若非鋼表鋼裏，則勁力所施，即成折斷。其次尋常刀斧，止嵌鋼於其麵。即重價寶刀，可斬釘截凡鐵者，經數千遭磨礪，則鋼盡而鐵現也。倭國刀背闊不及二分許，架於手指之上，不複欹倒，不知用何錘法，中國未得其傳。”
日本刀大致自我國宋代開始，已通過民間貿易源源不斷流入中國，在中國享有“寶刀”之譽。之後隨著時間的推移，流入中國的日本刀愈來愈多，日本刀對中國刀的影響也與日俱增。據《宋史·日本傳》記載，宋太宗雍熙二年（985年），曾經入宋求法的日本名僧為報答宋朝對他的禮遇，遣弟子喜因奉表來謝，在喜因贈獻宋室的禮物中，就有日本製作的“鐵刀”。
北宋著名文學家歐陽修在《日本刀歌》中寫道：“昆夷道遠不複通，世傳切玉誰能窮？寶刀近出日本國，越賈得之滄海東。魚皮裝貼香木鞘，黃白間雜愉釗與銅。百金傳入好事手，佩服可以禳妖凶。”從這些詠讚中可以看出，當時的日本刀不僅鍛造精良，而且裝飾也極為考究，吸引“好事”者不惜重價購求，競相佩帶以炫耀。詩中的“百金”並非虛語，據日本《宇治拾遺物語》中記載：“以太刀十腰（把）為質，則可自唐人（指宋代中國人）借來六七千匹的物。”足見當時的日本刀確實價值昂貴。正由於此，日本刀在當時成為了日本對中國貿易出口的暢銷品。
1333年，鐮倉幕府滅亡，後醍醐天皇重新掌權，稱為“建武中興”。但這引起了在推翻鐮倉幕府過程中有功的足利尊氏的不滿，矛盾愈演愈烈。1336年8月，足利尊氏大敗後醍醐天皇的軍隊後擁立後醍醐天皇的本家光嚴天皇。後醍醐天皇逃至吉野山區，仍然自稱天皇正統，由此形成了南北兩個天皇並立的局麵，稱為南北朝時代（1336—1392年），相當於我國的元、明時期。
南北朝時代日本刀的風格是加長化，主要為了應對當時騎兵應對步兵的作戰方式。為了使騎兵更有效地對付步兵，由此出現了大太刀，長130～150厘米。因大太刀不能佩帶在腰部，隻能背在肩上，又稱“肩背太刀”。一般的太刀也增長至90～100厘米，此外還出現了長80厘米的薙刀。
經過多次攻防後，南朝的勢力衰退，南朝的天皇讓位給北朝的天皇，結束了南北朝時代，正式開始室町時代（1392—1573年），室町時代相當於我國的明朝時期。室町時代前期，日本對我國明朝的貿易日漸昌盛，我國的永樂錢、洪武錢、宣德錢大量流入日本，間接鼓舞了日本的經濟生產力。當時戰爭的方式由原來的騎兵戰逐漸演變成步兵戰，主要是因為火器開始運用於戰場，而太刀因不便於步戰所需，因此將刀刃彎弧縮小，改為打刀樣式，打刀終於登上了日本刀的舞台。打刀作為步兵的主要武器，刺的功能較為重要，因此打刀的反比太刀要小。太刀在作戰時需要先拔刀，再攻擊，而打刀可以將拔刀與劈砍用一個動作來完成。由於步戰時講究動作迅速伶俐，因此打刀長度大多為70厘米左右，脅差（中刀）大多鎬造40～57厘米之間，而短刀則多為平造刀身，寬幅較大，刀身較直。