水軍的建置三國水軍
三國時期，北方的曹魏政權以陸軍見長，但也注意發展水軍。曹操統一北方後，為進軍江南，創建了水軍。建安十三年（公元208年）正月，曹操在鄴（今河北省臨漳縣西南鄴鎮附近）“作玄武池，以肄舟師”。當年秋，曹操南攻荊州，劉琮不戰而降，荊州水軍悉歸曹操所有。赤壁一戰，曹操潰敗，焚舟逃遁，水軍無存。次年春，返軍至淮（安徽亳縣），即“作輕舟，治水軍”。魏國建立之後，文帝曹丕也重視水軍的建設。黃初五年和六年（公元224～225年），“為水軍，親禦龍舟，循蔡、穎，浮淮”，又“為舟師東征”，至廣陵（今江蘇揚州），曹丕兩次“臨江觀兵”。景初元年（公元237年），還曾“詔青、兗、幽、冀四州大作海船”。（轉引自《中國軍事史》第三卷·兵製）但由於造船能力的不足和北方不善於舟楫等條件的限製，曹魏的水軍與東吳相比，始終處於劣勢。
劉備在荊州時，曾建有一支水軍，由關羽統率。蜀國建立後，因居長江上遊，具備擴建水軍的條件，曾努力發展造船業，但受人力、物力和技術條件的限製，所造船隻的數量和質量都不如東吳，而且以運輸船居多，缺少主力戰船。蜀國沒有水戰傳統，缺少治水軍的人才。所以蜀國水軍的兵力和戰鬥力遠遜於東吳，和魏國不相上下。
吳國濱江臨海，東吳水軍實力最強。建安四年（公元199年），孫策在廬江之戰中擊敗黃射，繳船千艘，從而創立了東吳水軍。建安八年（公元203年），孫權在政權初步鞏固後，開始實施全據長江的方針。他以為父報仇為名，對江夏發起攻擊，企圖首先殲滅黃祖軍，奪取江夏郡，爾後奪取荊州。十月，他率水、步軍沿長江西上，大破黃祖水軍。但攻城未克，而且山越再次叛亂，被迫回兵進行鎮壓，以安定後方。建安十二年（公元207年），孫權再次西攻黃祖，掠奪其人民而回。
次年正月，孫權第三次進攻江夏。黃祖以兩艘艨衝挾守沔口（即夏口，今湖北漢口），以艨衝上的千名弩手發射弩箭封鎖水麵，阻擊吳軍前進，以步兵在後，堅守沔口城。吳將董襲、淩統為了突破黃祖水軍的封鎖，各率百名敢死隊，每人披兩重鎧，乘大舸船，衝人陣中。董襲親自拿刀砍斷固定艨衝的鏈繩，艨衝橫流，吳軍才得以前進。吳將呂蒙大破黃祖水軍，斬其都督陳就，水陸齊攻，攻克沔口。隨後，在追擊中又殺死黃祖，取得東吳第一次水、陸軍聯合作戰的大捷。
吳國有發達的傳統造船工業，造船工場遍布全國，如沿江的秣陵（今南京）、京口（今鎮江）、豫章（今南昌）等地，沿海的永寧（今浙江省溫州）、橫陽（今浙江省平陽縣）、溫麻（今福建省連江縣）等地都設有造船工場，稱為“船屯”。在建安（今福建省福州），還設置了典船都尉的官職，以統管造船事務。
吳國依靠發達的造船業，建立了一支強大的水軍，“泛舟舉帆，朝發夕到，土風勁勇，所向無敵。”（《三國誌·吳誌·周瑜傳》）吳國水軍戰船數量大，種類多。據史籍記載，直到孫皓降晉時，被王浚收編的戰船尚有5000餘艘，船種除繼承了漢代的樓船、朦艨、鬥艦、赤馬、先登、斥侯之外，還出現了以“勇力精銳”者充當棹夫，“往來如飛鷗”的走舸；雙船連接，履波濤如平地的舫船；用於潛渡的“油船”等。吳國的樓船，形體更加高大。據《三國會要》記載，孫權的“長安”、“飛雲”、“蓋海”，可載“坐直之士三千人”，蔚為壯觀，但實戰價值不大。正如《吳誌·江表傳》所說，“船樓裝高，邂逅顛危”。此外，吳國還有一種“舟句舟鹿”船。建安二十四年（公元219年），吳將呂蒙曾晝伏精兵於舟句舟鹿中，“使白衣搖稽作商賈販”，（《三國誌·吳誌·呂蒙傳》）掩襲江陵成功。
兩晉及十六國水軍
兩晉時期，造船業也有相當高的發展水平。據《晉書·王浚傳》記載，西晉滅吳時，在四川造“大船連舫，方百二十步（約170米），受二千餘人，以木為城，起樓櫓，開四門，其上皆得馳馬往來”，可謂“舟楫之盛，自古未有”。此外，還有飛雲船、蒼隼船、金舡、飛鳥舡等。（《太平禦覽》卷七百七十·舟部）西晉用上述戰船在益州（今成都地區）編練了一支強大的水軍，沿長江東下，一直打到吳都建業（今南京），對滅亡吳國，統一南方的作戰，起了重大作用。滅吳後，由於收編了吳國水軍，西晉水軍更加強大。
東晉地處江南，造船業發達，水軍也很多。桓玄據荊州時，有一支強大的水軍，在與劉毅戰於崢嶸洲水域時，曾出動戰船200艘。據《晉書·成帝紀》記載，陶侃、溫嶠、庾亮、魏該等率有水軍4萬人。東晉末年，孫恩、盧循海上起義，擁有戰船千艘，其中“八槽艦九枚，起四層，高十餘丈”。（《太平禦覽》卷七百七十·舟部）東晉王朝為鎮壓孫恩、盧循起義軍，也大量編練水軍。據《宋書·武帝紀》記載，劉裕為南攻番禺盧循起義軍，“大治水軍，皆大艦重樓，高者十餘丈”。當時，在成都割據的蜀漢王劉壽也征集士卒7萬餘人為舟師，準備順江東下，進攻東晉。東晉水軍不僅在江南活動，而且還北入黃河，如公元369年，桓溫引舟師自清水入黃河，舳艫百裏。
在北方的十六國，由於地理條件及民族傳統等原因，多數隻有陸軍。地處黃淮的各國則有較多的船隻和相當規模的水軍。如後趙國君石虎攻段遼時，“以桃豹為橫海將軍，王華為渡遼將軍，統舟師十萬出飄渝津”。準備攻前燕國時，“具船萬艘，自河通海，運穀豆千百萬斛於樂安城（今河北樂亭北），以備征軍之調”。但由於缺乏懂得海運的人才，“船夫十七萬人，為水所沒，猛獸所害，三分而一”。（《晉書·石秀龍上》）前秦苻堅準備伐晉時，也曾在益州組建水軍，命“蜀漢之軍順流而下”，以形成“東西萬裏，水陸並進”之勢。這些都說明後趙、前秦皆擁有水軍，在擴大其勢力範圍時，並曾著力於水軍的建設。