最早的家畜遺骨出於新石器早期文化遺址。
河南新鄭裴李崗文化遺址裏，出土有確認為家畜的豬、狗的遺骨，還發現有陶塑的豬頭和羊的形象。河北磁山文化遺址出土的豬骨數量也很多，有的窖穴內甚至埋藏有整具豬骨架。在我國南方，年代較早的新石器遺址中，也有家畜遺骨出土。河姆渡遺址不僅出土有豬骨，還發現有狗和水牛的遺骨，此外還出土有陶塑的豬，陶器上還刻畫有豬的圖案。新石器中晚期文化遺址，發現的家畜種類更多。仰韶文化遺址出土的家畜遺骨有豬、狗、雞和牛四種，一些遺址還出土有羊骨。馬家窯文化遺址，不但發現有豬、狗、羊、雞等家畜家禽遺骨，甚至還發現有用整隻豬、狗、羊作為隨葬品的。大汶口文化遺址也發現有諸多家畜遺骨。大汶口文化中期以後墓葬，盛行用整隻豬或半隻豬、豬頭或下頜骨隨葬，用豬作為隨葬品極為普遍。各地飼養的動物除了成群的豬、狗以外，牛和山羊的數目也不少。大汶口和王因遺址還出土了家牛骸骨，表明黃河流域當時已經開始飼養黃牛。到了龍山文化時期，畜牧業有了新的發展，飼養的動物種類和數量大大增加，馬的馴服已經開始。龍山文化遺址中，發現有豬、狗、牛、羊、雞的骨骼，其中以豬的骨骼為最多。在廟底溝遺址發現的26個龍山早期灰坑中，比同一地點168個仰韶文化灰坑出土的豬骨數量還多。山東龍山文化出土的豬骨和羊骨數量也比大汶口文化增加許多，不少龍山墓葬多用豬下頜骨隨葬，有的一處墓葬隨葬的豬下頜骨就多達幾十件。龍山文化、齊家文化的許多遺址中還發現了動物卜骨，卜骨以羊肩胛骨為最多，其次為豬骨和牛骨。在南方，長江中遊的大溪文化遺址，發現的家畜有豬、牛、羊和雞，屈家嶺文化還發現有雞、羊的陶塑。長江下遊的馬家浜文化遺址也出土有豬、狗、水牛的遺骨。從新石器時代文化遺址發現的家畜遺骨來看，我國新石器時代的養畜業，豬、狗飼養發生時間較早，發展也較快，牛、羊的飼養發生時間稍晚，其中羊多見於西北地區的新石器文化遺址，而馬的飼養則發生較晚。
野生的馬被人類馴化為役畜，在世界各民族曆史上，都較其他各種家畜為晚。在我國新石器時代早期和中期的文化遺址中，雖然仍然發現有馬骨相伴，但都很難斷定是已經馴化了的家馬馬骨。仰韶文化遺址中有馬骨發現，但當時是母係社會繁榮期，男人從事的狩獵活動隻不過是生活資料的一種補充，畜牧業還沒有充分發展。隻有到了父係社會，男人成為“畜群的主人”，馬的馴養才有可能。甘肅永靖馬家灣、內蒙古包頭轉龍藏、吉林扶餘北長崗子、河南湯陰白營、南京北陰陽營等新石器時代晚期文化遺址中也有大量馬骨發現，這些馬骨可能就是家養馬骨。目前較普遍的看法是，我國馬的馴養，最早當始於龍山文化時期，距今四五千年左右。在山東龍山文化（山東曆城城子崖）遺址中，曾發現有大批獸骨，其中馬骨、牛骨的數量僅次於豬骨、狗骨，在各種動物骨骼中占第二位。說明此時馬已經被人們馴服為役畜，中國北方已經開始普遍養馬了。
中國古史的傳說時代，有許多關於馴馬的傳說。炎帝和黃帝是古史傳說中兩位重要人物。炎帝神農氏善於耕稼，製造了翻土工具，發明了農業。關於黃帝，則有“服牛乘馬”之說。所謂“服牛乘馬”，就是馴服、役使牛馬的意思。堯舜禹時期，王位實行禪讓製。堯傳位於舜，舜傳位於禹，都是經過四嶽十二牧同意後才實現的。這裏的“十二牧”，大概是當時的一些部落首領，而以“牧”為首領之稱，說明當時的主要部落應是以畜牧為主的部落。以上這些雖然僅僅是傳說，但卻是原始畜牧生活的一種形象反映。至夏商周時期，中國的馬牧業已經達到相當水平。