“火箭”這個詞在公元三世紀的三國時代就已出現。在公元228年的三國時期，魏國第一次在射出的箭上裝上火把，當時蜀國丞相諸葛亮率軍進攻陳倉(今陝西寶雞東)時，魏國守將郝昭就用火箭焚燒了蜀軍攻城的雲梯，守住了陳倉。“火箭”一詞自此出現。不過當時的火箭隻是在箭頭後部綁附浸滿油脂的麻布等易燃物，點燃後用弓弩射至敵方，達到縱火目的的兵器。
北宋的軍官馮繼升、嶽義方、唐福等(公元10世紀後期)，曾向朝廷獻過火箭及火箭製造方法。那時的火箭已經使用了燃燒效能更好的火藥，但仍由弓弩射出。從而出現了人類曆史上最早、最原始的“火藥箭”。它用紙糊成筒，把火藥裝在筒裏壓實，綁在箭杆上，用弓發射出去。後來在原始火箭基礎上做了改進，將火箭直接裝入杆中間，爆時聲響很大，借以恐嚇敵人。
火箭出現後，在中國被迅速地用於軍事行動和民間娛樂中。10～13世紀，在宋、金、元的戰爭中，已應用了火槍、飛火炮、震天雷炮等火藥武器。那時的飛火炮和現代的火焰噴射器相似，是一種原始的火箭武器。北宋後期，在民間盛行的煙火戲中，人們利用火藥燃氣的反作用力，製成了能夠高飛和升空的“流星”(或稱“起火”)、“爆竹”為節日增添了喜慶的氣氛。從工作原理看，流星、爆竹已具有火箭的特點。
公元12世紀後，原始的火箭經過改進後，廣泛地用於軍事。到了元、明時代，火箭兵器在戰爭中有了很大發展，並發明了許多與現代火箭類型相近的火箭，相繼出現了二虎追羊箭、九龍箭、一窩蜂等火箭，這些都利用了火箭多級串聯或並聯（捆綁）的技術。明代史籍中記載了多種火箭武器，重要的有震天雷炮、火龍出水、神火飛鴉、飛空砂筒、萬人敵等。
明代是我國火箭技術迅速發展的時期，軍事技術家製成多種利用火藥反作用力推進的火箭，用於軍事戰爭。明初，朱元璋第四子燕王朱棣在奪取政權的“靖難之役”中，於河北的白溝河同建文帝的部隊作戰時，遭到“一窩蜂”火箭的射擊，這是中國最早將“噴氣火箭”用於戰爭的記載。此後各種單級噴氣火箭日益增多，有單發和多發兩大類。
民族英雄戚繼光在東南沿海抗倭時，創製了飛刀箭、飛槍箭、飛劍箭等三種噴氣火箭，統稱“三飛箭”。這三種火箭用長6尺的堅硬荊木製作，箭鏃長5寸，分別製成刀、槍、劍形鋒刃，能穿透鎧甲。箭鏃後部綁附長7至8寸、粗二寸的火藥筒。作戰時，將火箭安於木架上，手托箭尾，點著火藥筒的藥線，對準敵人射去，它在水陸作戰都可使用。這三種火箭在戚家軍水兵營的10艘戰船上裝備了2000多支，在車炮營、騎兵營和步兵營中，共裝備了4760支，平均每人4支。戚家軍裝備如此眾多的火箭，在中國和世界軍事史上都是空前的。世界上其他國家，直到240多年後，才知道世界上有噴氣火箭這種火器。
多發齊射
單級火箭的高級製品是各種“多發齊射火箭”。它們大多是將多支火箭安置於一個口大底小的火箭桶中，桶內安置兩層格板，用於火箭的定位和定向，同時又將各支火箭的火藥線集束在一起，點火後眾箭齊飛，發射麵有數丈之寬，除前麵提到的裝有32支火箭的“一窩蜂”火箭外，還有二虎追羊箭、百虎齊奔箭等幾十種，一次可射2至100支火箭不等。戚家軍還常將多個火箭桶固定在火箭車上發射，一次可射幾百支乃至上千支火箭，是後世火箭炮車的前身。戚繼光在北方守備東段長城時，至少裝備了40輛火箭車，這在古代是獨一無二的。在世界其他的一些國家中，直到360多年後，才出現火箭炮車。