由於元水軍的迅速壯大，攻宋戰爭勢如破竹。至元十年（1273年）。元軍攻陷襄樊。次年九月，元軍從襄樊出擊。十二月，伯顏率戰艦數千艘占領漢口，然後順流東下，直逼建康。第三年七月，元軍阿術率戰船數千艘蔽江而下。鎮江一戰，南宋潰不成軍。元水軍乘勝出長江口。在長江口收編了漁民武裝首領朱清、張镟所部數千人，獲海船500艘。然後，元軍浮海南下，直搗臨安。接著，又進攻閩粵：崖山一戰，南宋覆亡。
在四川戰場，成都水軍萬戶速哥統領所部，分鎮重慶及夔、施、黔、忠、萬、雲、涪、瀘等州，有力地牽製宋軍，為配合主戰場作戰，起了重大作用。
元朝統一中國後，元水軍在國內的任務，由作戰轉為鎮守要地。長江沿線的鄂州（今武昌），黃州（今湖北黃岡）、江州（今江西九江）、建康、鎮江、江陰，以及沿海的華亭（上海淞江）、澉浦、定海、慶元（今浙江寧波）等地，均有水軍鎮守。
忽必烈是一位野心勃勃的君主，在國內戰爭尚未完全結束的情況下，就著手進行海上擴張的準備。為適應海上作戰的需要，在福建建立了沿海水軍萬戶府，招募水兵，練習海戰。至元十一年（1274年）和至元十八年（1281年），忽必烈兩次發兵進攻日本。至元十九年（1282年），從海上進攻占城（今越南南部）。至元二十四年（1287年），又從海上進攻安南（今越南北部）。至元二十九年（1292年），跨海南征爪哇。這5次海上用兵，動用了大量兵力，官兵少則5000人，多則14萬人；戰船少則500艘，多則3400艘。可見元海軍實力強大，具有遠海作戰能力。
但是，這幾次渡海作戰，都由於戰爭的非正義性，指揮失誤，缺乏後援等原因而遭重大損失，敗師而歸。從此，元水軍便一蹶不振了。
據史料記載，元成宗登位（1294年）以後，元水軍的建設和作戰活動越來越少。雖然在大德十年（1306年）置昆山、嘉定等水軍上萬戶府，至正十四年（1354年）立鎮江水軍萬戶府，次年又設黃河水軍萬戶府，但這些水軍隻在鎮壓各地起義軍時進行過一些小規模的戰鬥，且多為義軍所敗。元代海軍由盛到衰，是由當時的政治軍事和經濟條件所決定的。同晉滅吳、隋滅陳、宋滅南唐一樣，要克服長江天塹，消滅對方較強大的水軍，非建立一支相應的水軍不可。於是，元代海軍便在戰爭中誕生和發展壯大起來。一旦戰爭結束，元朝統治者便將部分水軍轉入航運，如張镟、朱清所部水軍就承擔了將江南的大批糧食和物資北運大都的任務。至元三十一年（1294年），將，領囊加歹和萬戶孫偉請調戰船1000艘參加海運。這就必然削弱了水軍的力量。
對外擴張的損失，也是元水軍力量衰敗的一個重要原因。僅以第二次攻日戰爭為例：損失的兵力就多達10萬餘人，戰船4000餘艘。
元代後期，政治腐敗，統治者內部矛盾激化，諸將混戰，北方陸上戰事頻繁。統治者不僅無心顧及水軍的建設，而且常調水軍去北方參加陸戰，致使水軍兵力削弱，缺乏訓練，每況愈下，由盛而衰。