隋代初期，隋文帝楊廣為了吞滅陳朝，統一中國，在全國各地大造艦船，編練水軍。僅楊素在永安（今四川奉節）所造的戰船就以千計。其中最大的“名曰‘五牙’，上起樓五層，高百餘尺，左右前後置六拍竿，並高五十尺，容士兵八百人，旗幟加於上”；其次日“黃龍”，可容百人；還有“平乘”、“舴艋”等。在滅陳戰爭中，除楊素率領的水軍外，還有王世積和燕榮率領的水軍，他們都對創立隋朝，統一中國發揮了重要作用。
從三國至隋朝的近400年中，水軍的武器沒有多大變化，仍然是清一色的冷兵器，但其中的拋射兵器得到較大的發展。弩是陸軍和水軍通用的一種武器。所謂弩就是安有臂的弓，弓臂上有弩機。弩機外麵有一個通（古代叫郭），匣內前麵安了掛弦的鉤（古代叫牙），鉤的後麵和照門（古代叫規，亦稱望門）相連。照門上刻有定距離的分劃，戰國的銅弩機匣的下麵有板機（古代叫懸刀）。發射時，先將弓弦向後拉，掛在鉤上，對正目標後，一扣板機，箭即射出。漢代水軍就裝備有弩，樓船上開有弩窗，是專門用以發射弩箭的。三國時期，諸葛亮發明了一種新式連弩，稱為“元戎”。弩箭為鐵製，長8寸。這種連弩一次可連續發射10支箭，提高了發射速度，且輕巧靈便。但射程較近，殺傷力較小。
晉代的弩向大型發展，有“萬鈞神弩”之稱。這當然有些誇張，但比小弩射程遠，威力大。據《宋書·武帝紀》記載，晉安帝義熙六年（公元410年），劉裕就是用這種弩連破盧循水師的。
拋車又名發石車或拋石機，也是一種水陸通用武器。相傳周代就有了拋車。《前漢書·甘延壽傳》張宴注，有“範蠡兵法飛石重十二斤，為機發行三百步”的說法，但《範蠡兵法》早已散佚，無法查考。可靠的記載是《三國誌·魏誌》，說在公元200年的官渡之戰中，曹（操）軍用拋車發石，擊毀袁（紹）軍的櫓樓。因發出的石彈在空中飛行時有聲，被叫做“霹靂車”。
拋車模型拋車是在一個木架上橫設一軸，軸的中間穿有韌性強的長木杆一根作炮杆，杆的一端結上一個用繩索聯係的皮窠，另一端結上幾十條到百多條繩索。在施放時，將石塊放人皮窠裏，用很多人各自握繩一條，聽號令一齊猛拉，利用杠杆原理和離心作用，把石塊拋向敵方。為了移動方便，在架的下麵裝有車輪。
漢代的樓船上“置拋車”。南朝梁元帝時，徐世譜將拋車裝在戰船上，稱為“拍船”。（《陳書·侯真傳》）拍船在水戰中曾發揮過重大作用。如侯木真與王琳作戰時，“眾軍施拍縱火，定州刺史章昭達乘平虜大艦，中江而進，發拍中於敵艦。（《陳書·侯木真傳》）陳朝吳明徹進攻華皎時，“募軍中小艦，多賞金銀，令先出當（抵擋）賊大艦，受其拍，賊艦發拍皆盡，然後官軍以大艦拍之，賊艦皆碎，沒於中流”。（《陳書·華皎傳》）
在這段曆史時期，除弩和拋車有新的發展以外，在水軍武備中，還出現了一種新兵器——拍竿。
東晉初年（公元4世紀），杜弢在四川起義時，曾建立了一支強大的水師，並發明了一種叫做“桔槔”的兵器。“桔槔”本是一種原始的提水工具，春秋時代已經應用。它是利用杠杆原理，在一木柱上支著一橫木，橫木一端用繩掛一水桶，另一端係上重物，使兩端上下運動以提取井水。將這種“桔槔”移用到戰船上，橫杆一端係上巨石，橫杆另一端係上人拉的繩索，就成了一種水戰兵器。水戰中，當裝有“桔槔”的戰船接近敵船後，將“桔槔”上的巨石移到敵船上空，然後鬆開人拉的繩索，巨石靠本身的重力猛然砸下，使敵船毀人亡。它比拋石機打得準，且石彈可反複使用，操縱也比較靈便。東晉杜弢起義軍曾用“桔槔”打沉陶侃率領的官軍戰船多艘。為了對付“桔槔”，官軍製造了一種叫“長岐棖”的防禦裝置，（《晉書·周訪傳》）即在船的兩舷伸出一些長木杆使敵船難以接近。
到南北朝時，“桔槔”改稱“拍竿”，普遍裝備戰船。後人明代李盤在《金湯借箸十二籌》中，對拍竿作了如下描述：“其製大如桅，上置巨石，下作轆轤，繩貫其巔……每迎戰，敵船迫逼，則發拍竿擊之，當者立碎。”前麵說到的隋代“五牙艦”，就裝有六具“拍竿”。楊素在滅陳戰爭中，曾用“拍竿”拍毀陳軍戰船10餘艘。可見“拍竿”是我國古代海軍武備中一種威力較大的兵器。
從火燒赤壁之後，在水戰中火攻日益增多。當時還沒有發明火藥，火攻主要是投擲“火炬”和用熔鐵傾灑。
在當時的水軍中，還出現過一種“槍筏”，即在普通的木筏的四周裝上矛頭而成，可用以衝撞敵船。或者在木筏上裝載易燃物，待槍筏快速衝撞，矛頭牢牢紮住敵船後，即用易燃物迅速引燃槍筏與敵船同歸於盡，士兵則泅水而還。
在這一時期的水戰中，還在江河設置水中障礙。三國時期的吳國和南朝的陳國，都在長江設置攔江鐵鎖（鏈）和鐵錐，以阻擋對方水軍的進攻。西晉和隋朝的水軍也采取了一些對付的辦法。這方麵的情況，後麵將要介紹。
總的說來，從三國到隋代，水軍兵器不斷有所提高和發展，但從性能上說，仍然沒有脫離以近距離直接擊殺為主的範圍。因此，水軍的作戰方式也仍然是接舷戰和撞擊戰，直到北宋出現火器以前，沒有根本性的變化。
據傳是諸葛亮撰寫的《心書·戰道》中對水戰有一段精辟論述：“水戰之道，利在舟楫。練習士卒以乘之，多張旗幟以惑之，嚴弓駑以中之，持短兵以捍之，設堅以衛之，順其流而擊之。”