但日本大本營非常清楚馬裏亞納的重要性，決定沿千島群島，小笠原群島，馬裏亞納群島，加羅林群島和新幾內亞群島西部建立必須絕對予以確保的防線——絕對國防圈，馬裏亞納則是該防線的核心。
因此，日軍自一九四四年二月起，開始著手加強該地區的防禦，由於以前馬裏亞納群島是海軍負責防禦，島上的陸軍部隊很有限，大本營計劃將中國戰場上的第三和第十三師團調往中太平洋，以加強該地區的地麵部隊，但這兩個師團在中國戰場上一時無法脫身，大本營隻好於二月十日將駐中國東北的關東軍第二十九師團調到馬裏亞納，陸軍部還將新組建的八個支隊也調到該地區。
二月二十五日，日軍大本營將中太平洋地區所有陸軍部隊整編為第三十一軍，由小畑英良中將任軍長，規定該軍服從於聯合艦隊司令的調遣。從二月起，日軍進一步動員大批船隻向該地區調集部隊，三十一軍擁有五個師團又八個旅團，分別防守馬裏亞納，特魯克，小笠原和帛琉等島嶼。其中部署在馬裏亞納群島的是兩個師團又兩個旅團，約六萬餘人。
不過，日軍的人數雖多，但是，防禦工事修建的卻並不快，原計劃要到十一月方能完成，此時才完成工程量的一半，火炮掩體幾乎沒有，地雷和鐵絲網也沒鋪設，總體防禦也不過是聾子的耳朵擺設罷了。
日本海軍也開始了行動，他們於二月四日將原在馬裏亞納群島的第四艦隊和新組建的第十四航空艦隊合並為中太平洋艦隊，由中途島海戰的敗將南雲忠一海軍中將任司令，第四艦隊主要是由魚雷艇，獵潛艇，掃雷艇和巡邏艇等輕型艦艇組成。
第十四航空艦隊編製上還是很龐大的，總共有八個岸基航空隊，478架飛機，但陸續被調往其他地區，剩下的飛機寥寥無幾，因此這支艦隊實力非常薄弱，隻能充當牽製美軍登陸部隊的偏師，為主力艦隊集結贏得時間。日本海軍計劃用於馬裏亞納群島決戰的主力艦隊是一九四四年二月由第二，第三艦隊合並組成的第一機動艦隊，幾乎包括了聯合艦隊所有主要水麵艦艇，共有航母9艘，戰列艦5艘，巡洋艦14艘，驅逐艦31艘，艦載機439架，由小澤治三郎海軍中將任司令。
日軍大本營深知這支艦隊與美軍太平洋艦隊的航母編隊實力上存在較大差距，決定以第一航空艦隊改編的第五岸基航空隊，與之配合作戰，以求充分發揮艦載航空兵與岸基航空兵的協同威力。
隻不過，現在的這支第一航空艦隊並不是那支戰爭初期偷襲珍珠港，縱橫太平洋所向無敵的航母艦隊第一航空艦隊，而是一九四三年七月剛剛成立的岸基航空兵部隊，由角田覺治海軍中將指揮，成立伊始就受到日軍大本營的特別重視，從其他部隊抽調一些有戰鬥經驗的老飛行員作為骨幹，並盡可能為其配備最新式的裝備，一直作為大本營的直屬部隊在國內訓練，原計劃訓練一年。
一九四四年二月馬紹爾群島失守後，不得不調到中太平洋地區，其中技術熟練的調到馬裏亞納，技術尚不熟練的則調到菲律賓一邊訓練一邊備戰，原第五岸基航空隊共有飛機1092架，後又將其他一些具有戰鬥經驗的航空兵部隊調入，最鼎盛時，其飛機增至1600架，但因戰鬥不斷，日軍的戰機生產能力根本無法補充損失數，至一九四四年，這隻航空隊僅餘530架戰機。
日軍的決戰計劃原是聯合艦隊司令古賀峰一海軍大將主持製定的，企圖在第一航空艦隊和第一機動艦隊實力有所恢複後，尋找戰機與美軍決戰（日軍在製定計劃時，還不知道中國軍隊即將加爭奪馬裏亞納海灣的戰鬥），爭取扭轉戰局，代號為"阿號作戰"。
聯合艦隊的司令都是命薄之人，山本五十六的座機被美軍擊落，這個古賀也好不到哪裏去，他於二月三日在前往菲律賓途中座機遭遇暴風，機毀人亡。豐田副武海軍大將接任聯合艦隊司令的次日，即5月3日，就接到了大本營發起"阿號作戰"的指令，隨即向所屬各部下達了作戰指令。