音樂教育是隨著音樂的起源而就產生了。有了音樂，就有了音樂的傳遞，有了傳遞，就離不開教育．由於沒有史料的記載，可以想象得出，這種傳遞式的音樂教育是在無形中進行的。
我國有史料記載的音樂教育早在遠古時期業已產生。《尚書·舜典》中說：“夔，命汝典樂，教胄子，直而溫，寬而栗，剛而無虐，簡而無傲。詩言誌，歌永言，聲依永，律和聲。八音克諧，無相奪倫，神人以和。夔曰，於，予擊石拊石，百獸率舞”。其大意是說：舜帝命夔掌管樂舞，並教導年輕人，正直而溫和，寬宏而威嚴，剛強而不暴戾，嚴肅而不傲慢。詩表達思想與情感，歌聲唱出自己想要說的話，曲調要根據詠唱的需要，音律要配合聲調的高低。音樂追求和諧，不要沒有秩序而相互抵觸，而要起到溝通神人並使之融合的作用。夔說：好啊，讓我們敲起石磬，裝扮成各種各樣的野獸率相起舞吧。上述記載說明了堯舜時期已經有了職業(或是半職業)的音樂教師。
誠然，具體的音樂教育須是學校音樂教育，這要從我國最早的學校——“成均”說起。《春秋繁露》雲：“成均，均為五帝之學”；鄭玄在《周禮》、《禮記》的注釋中也曰：“均，調也，樂師主調其音。並由此推斷出”成均“是以音樂教育為主的學校．由此看來，我國的學校音樂教育從”成均“起就已經開始了。
到了周代，出現了較為嚴密的學校教育網絡，統治者為了利用音樂以強化其統治，還設置了專門的音樂教育機構——”大司樂“，以管理和協調全國的音樂教育。其音樂教育內容主要有”樂德“、”樂語“、”樂舞“幾種，這是我國曆史上最早的音樂教育機構。