除了手工業這的匠戶，單獨劃分的灶戶以外，社會生活的方方麵麵都有人供給，很多人從事著不在這些戶籍劃分內的職業。其中最大的部分人就是商人，他們不屬於四類戶籍之中，但這不意味著他們可以自由自在，不承擔差役。商人承擔最大的差役就是為官府提供各種各樣的商品，戰時自然也免不了被抓壯丁。還有歌舞演樂的，給大戶人家幫傭的，形形色色不在四類戶籍之中的人，被劃分為雜戶。隨著社會分工的不斷細化，以及統治階級的日益腐化，他們的需求越來越多，越來越五花八門，歸屬在雜戶的人員也越發多了起來。例如，管理菜園的“園戶”，管理陵墓的“陵戶”。
朱元璋對於人口的登記十分看重，為的就是讓朝廷、皇室有所依靠。人口登記的範圍很廣，也就意味著負擔差役的人員很多，很少有人能夠逃脫，甚至跳出三界外、不在五行中的出家人也要承擔差役。
即便如此，這種差役的承擔絕不可能平均化，必然會有特權階層，例如宗室、公侯勳卿、官員甚至學校的生員。除了本人免除以外，家庭成員還可以全免或者部分免除。
一開始，宗室、公侯這種全免的人，以及官員、生員這樣部分免除的人，相比於勞苦大眾，人數並不多。但是，隨著時間的推移，這類人開始變得多了起來，但還是占了人口的極少數，但是依附在他們身邊的人變得多了起來，仰仗主家的權勢，享受優待。同時，現任的官員以及可能成為官員的生員，他們與負責徭役的官員屬於同一陣營，很容易營私舞弊，將部分免除變成全部免除，多出來的部分就強加到普通老百姓身上，使得百姓身上的負擔越來越重。
徭役隨意攤派，日益不均，是社會矛盾激化的重要原因之一，所以均徭役是一向封建王朝自我改革的重點問題，但其中的阻力之大也可想而知。那些從中受益的階層，都是社會的經營上層，他們的與朝廷息息相關，與皇帝能說得上話，影響皇帝的決策。
這樣切膚之痛的改革，最好是由皇帝親自操刀，譬如雍正皇帝的新政，換成其他人很難開展工作，也很難善終。輕者，飽受攻訐，改革胎死腹中；中者，人亡政息，不了了之；重者，死無葬身之地。這樣的改革者，在我曆史上數不勝數，頭一名當屬商鞅。明代最著名的改革者，當然是張居正。
明代差役製度的製定，不僅僅使用民力為朝廷各項事務需要，同時也是稅收製度的需要。封建社會的賦稅都是實物征收，既征收糧食，也征收絲絹、毛皮、木材等多種多樣的物品。
實物征收的好處是不受貨幣價值的影響，統治者可以實打實地看到征收的物品，有一種眼見為實的質感。但是一個國家維持政府正常的運轉，開發建設，供養皇室，所需要的不僅僅是單一的糧食。當然，如果可以收到足夠多的糧食或者貨幣，那就方便了，缺什麼直接買。
實際上，以封建社會的生產力水平，全部依靠田賦收入是難以實現朝廷供給的，必須額外征收其他實物，以直接滿足各種需求。
明代賦稅征收的實物種類很多，除了最基本的夏秋米、麥、豆、布之外，還有木炭、蠟、牲畜、家禽、野味、茶、果、水產品、藥材這樣的生活消耗品，還有有色金屬、木材、磚瓦、顏料等生產建設資料。簡單的說就是，統治者需要什麼，就征收什麼。征收上來，供給皇室禦用的叫做歲貢，供給工部的營膳、虞衡、都水、屯田這四個司使用的叫做歲辦。