孔子定六經，其中《樂經》經秦焚書而亡，《樂經》中是否有樂譜就不得而知了。
中樂理論的第一塊裏程碑是“宮、商、角、徵、羽”五聲的確立。最早見於《管子·地員篇》，至少已有2000多年的曆史。第二塊裏程碑是製定十二律呂：即“黃鍾、大呂、太簇、夾鍾、姑洗、仲呂、蕤賓、林鍾、夷則、南呂、無射、應鍾。”在公元前6世紀，周景王（公元前544—公元前520年在位）已向他的樂官問及什麼是十二律，什麼是七音。現存的律音譜以宋朱熹《儀禮經傳通解》中“風雅十二詩譜”為最古。該譜的形式是在詩歌的旁邊配上各律呂名稱。如：
關關雎鳩在河之洲
黃清南呂林鍾南呂黃鍾
姑洗太簇黃鍾
（黃清即黃鍾音的高八度）
律呂字譜初始是敲擊樂器的手法譜，其中有直接以鍾命名的，如黃鍾、夷則、林鍾、應鍾。春秋戰國時期盛行編鍾，演奏如此大型、完整、複雜的樂器，肯定是非有樂譜不行的。
可以斷言，律呂字譜早在周朝就存在了。
音樂史家認為，宮至羽音調從低向高行，揭示了宮商五音係由歌聲進化而來的規律。因此，宮商字譜要比律呂字譜久遠得多。在此之前有“歌聲曲折”和“歌詩聲曲折”的名稱出現。《禮記·投壺》篇中對鼓的節奏已有簡練的記錄。這些資料很可能就是樂譜的初始雛形。
高雅的古琴是古代知識分子的修身之具。琴譜在古譜中占的比例最大，內容也最豐富。現存有3000多首琴曲，600多首曲目，1700多條文字資料和300多首歌詞分類編目。曆代琴家在“琴論”方麵也有極豐富的著述。
唐代以前的琴譜是用文字記述彈琴的左右手指法和各音在某弦某位，稱為文字譜。現存最早的文字譜是流落在日本的唐代手抄卷《碣石調幽蘭》。唐代曹柔把原來的文字譜簡化縮寫，用若幹減筆字組成指法符號，創造出一種新的譜式，稱為減字譜。古琴譜由於記錄詳細，點滴不漏，因而能最有效地保留古樂曲的原形。
應用最廣、最為普及的是“工尺譜”。因用“工、尺、上、乙、土、合”等字譜，故而得名，節奏用“板眼”標明。“工尺譜”有可能來源於吹管樂器的手法譜，如“四、一、六、五”是吹管樂器觱篥、笛子的指孔數目。敦煌千佛洞發現後唐長興四年（公元933年）的《唐人大曲譜》就是“工尺譜”
的早期形式，稱為“燕樂半字譜”。
古籍中論及“工尺譜”的要推北宋沈括的《夢溪筆談》為最早。工尺譜的形式非常豐富，大致包括燕樂半字譜、蓑衣式譜、一枝香譜、南音譜、西安鼓樂譜、山西五台山譜、北京智化寺譜等等。
南宋薑夔所作《白石道人歌曲》，在音樂史上占有重要地位，所用的譜式稱為俗字譜，是由工尺譜簡化而成，板眼也自成一格。
由於我國民族語言豐富，因而孕育出一些獨具色彩的特殊樂譜。有流行於廣東潮州一帶的“二四譜”，這種譜用“二、三、四、五、六、七、八”，以數字形式記譜，用方言吟唱，節奏符號與工尺譜的“板眼”相同，很有地方風味。宗教音樂中有一種用曲線表示音調高低的“曲線譜”。道教的部分樂譜和蒙族、藏族的喇嘛教就是用“曲線譜”記錄樂曲。
樂器的專用譜也有精彩的內容。鑼鼓譜以象聲詞，如“紮、匡、正、淨、龍冬……”記譜，它的原始形態大概在公元前10世紀就出現了。近代流行的排簫譜、琵琶譜、箏譜是在工尺譜的基礎上加上表示該樂器的指法和符位符號。
簡譜起源於17世紀的英法，清末傳入我國。簡譜的優點是容易接受和掌握，便於普及音樂教育。現在，大量的中樂譜樂用簡譜形式。