正是在這樣的文化環境中，至唐代或更早一些時間，在爨氏統治的區域內，形成了“西爨白蠻”和“東爨烏蠻”。西爨白蠻由漢人與僰人、夷人融合而成，其中包括武僰集團及夷人六部中的武、乍兩部後裔；東爨烏蠻指的是六部中的恒、布、默支係。前者居住在今曲靖以西，以農耕生產方式為主；後者居住在曲靖以東，主要在今滇東北、貴州西部及大小涼山地區，以半農半遊牧生產方式為主。東爨烏蠻在劉宋時代崛起之後，即迅速發展起來，擺脫了爨氏的統治，並通過戰爭將爨氏政權壓縮到曲靖以西之地。至宋代時，烏蠻各部在今貴州西部則建立羅氏鬼國（今黔西北）、羅殿國（今貴州安順）及自杞國（黔西南、滇東南）等。盡管如此，在夷漢文化的融合過程裏，東爨烏蠻與西爨白蠻的步調基本上是一致的。
而在夜郎故地的東區，即牂牁郡所轄之地，漢晉以來的漢族大姓龍、傅、尹、董及謝氏等，在東晉以後，同樣由於同內地漢文化的聯係完全斷絕，也出現了“漢變夷”的趨勢，同當地濮、越民族完全融合。如謝氏被稱之為“東謝蠻”，“其地在黔州之西數百裏，南接守宮獠，西連夷子，北至白蠻。土宜五穀，不以牛耕，但為佘田聯，每歲易。俗無文字，刻木為契。散在山洞間，依樹為層巢而居，汲流以飲。皆自營生業，無賦稅之事。謁見貴人，皆執鞭而拜。有功勞者，以牛馬銅鼓賞之。……其首領謝元深，既世為酋長，其部落皆尊畏之。謝氏一族，法不育女，自雲高姓不可下嫁故也。”（《舊唐書·南蠻西南蠻傳》）可見其生活習慣、生產方式與漢族已不一樣，完全夷化了。
四、女土司：夜郎故地的水西女傑
奢香塑像
夜郎故地的爨氏政權，至隋代起即受到中原王朝的沉重打擊。隋文帝開皇年間，曾派遣大將史萬歲伐南中。其時爨氏掌權者為爨翫，通過賄賂買通史萬歲，避免了一場刀兵之災。但史萬歲隨之受彈劾去職，朝廷另派大將軍再次征討南中。爨翫被執入朝，“文帝誅之，諸子沒為奴”（《新唐書·南蠻傳下》卷222，中華書局標點本1975年版，第6315頁）。爨地由此處於四分五裂之中。唐代興起，雖將爨翫之子放歸，但已不可能再令南中諸爨氏統一。諸爨之間為了擴張勢力，彼此兼並，兵戈相見，至南詔崛起，得到唐朝扶持，利用爨氏家族的矛盾，使其互相殘殺。爨氏政權在南中統治500年後，終於壽終正寢。
由於南詔蒙氏集團有夜郎王族的血統，曆來同東爨烏蠻之間又屢有聯姻，因此關係十分密切。南詔在滅掉爨氏集團後，曾將西爨白蠻計20萬戶遷往永昌（今保山），南詔由此控製了爨區。而東爨烏蠻則仍保有獨立地位，一部分烏蠻甚至向西進入原西爨的住地。在封建領主長期的控製下，夜郎故地經濟發展嚴重滯後，同中原文化交往有限。一旦碰上雄強爭鋒，如唐與南詔的戰爭，夾在中間地帶的夜郎故地必然如”神仙打架，小鬼遭殃”，成為雙方拉鋸之地。或者如中央王朝滅夷，如隋朝史萬歲滅爨，元軍滅自杞國等，更不免生靈塗炭，以致千裏無人煙，經濟文化慘遭摧殘。即使在沒有戰事的較平和年代，夜郎後裔民族的經濟、文化也隻在自我封閉或半封閉的狀態下艱難地生存並緩慢地發展。
夾縫中的日子自然很不好過，但也磨煉了後夜郎民族應對環境的智慧與能力。這種狀態一直延續到元明清三代，曆土司製而至於改土歸流，後夜郎民族在高壓政策下，既勇於反抗，又巧於周旋，以至最終造就了如同奢香這樣著名的女政治家。
土司製興於元，盛於明而衰於清。隨著元朝的建立，全國歸於統一，中央集權得到進一步加強，西南邊疆也被納入行省範圍，原在夜郎故地的方國如自杞國、羅殿國、羅氏鬼國等被一例取消，推行土司製度，如在黔西北的原羅氏鬼國設亦溪不薜宣慰司，在原烏撒（今威寧）部之地設烏撒宣慰司，在原自杞國之地設普安路，在羅殿國之地設普定路，均隸屬於曲靖宣慰司等等，而上屬土司均置於朝廷派出的流官控製之下。在元代設八番順元府，明代立衛所，清代則遍設鎮協營汛，加強軍事的控製，以確保土司製的推行。