鬱於死後，弟吐於繼任聯盟長，又遭到可突於的威脅。公元725年（弄元十三年），吐於攜唐公主不返，可突於另立李盡忠弟邵固為聯盟長。三年後，可突於殺邵固，另立別部屈烈為聯盟長，並脅迫奚族一起背叛唐朝，投附於突厥。從此，大賀氏聯盟時代結束，契丹中衰。
當大賀氏聯盟在與唐朝的激烈對抗戰爭和內部紛爭中力量衰落，難以振作的時期，聯盟以外的乙室活部落逐漸壯大起來。部落長鬱捷已擁有了強大的軍事力量，並且得到唐玄宗的認可，封他為契丹知兵馬官。公元734年，唐幽州節度使張守珪聯合乙室活部攻打契丹可突於部，殺其部落長屈烈和軍事首領可突於。唐玄宗加封鬱捷為北平郡王、鬆漠都督。次年，由於鬱捷殘暴被部落貴族涅裏殺死，玄宗遂以涅裏為鬆漠都督。
公元736年，唐將張守珪派平盧討擊使安祿山出兵攻契丹涅裏部，大敗而回。次年2月，張守珪再次出兵，大敗契丹，涅裏出走鬆漠，重建契丹部落聯盟。
涅裏以其所屬的乙室活部落為基礎，收集、聯合了大賀氏聯盟潰散後的餘部以及聯盟以外的分散的氏族部落，推選遙輦氏阻午為聯盟長，重新建立起遙輦氏部落聯盟。該聯盟仍由八個部落組成，與大賀氏時期的八部落相比，聯盟範圍擴大，血緣關係薄弱。新聯盟以乙室部落和迭剌部落為中心，而迭剌部落是聯盟中最強大的一部。聯盟長仍由部落議事會選舉產生，當選聯盟長的隻限於遙輦氏一族。選舉時要舉行莊嚴的“柴冊禮”，八個部落長共同燒柴，拜祭太陽，由母親氏族的長老禦兵駕車，當選的聯盟長登柴壇就職。聯盟的軍事首領稱作“夷離堇”，也由選舉產生並舉行柴冊儀式。夷離堇職位由迭剌部涅裏一族世代相襲。聯盟互相通婚的部落重新組成新的審密部。大賀氏聯盟時代，審密部與大賀氏八部通婚，唐朝賜姓孫氏。遙葷氏重建聯盟後，與乙室部通婚的乙室已部和審密部的拔裏氏族組成新的審密，與遙輦氏聯盟各部落世代通婚。
遙輦氏部落聯盟重新集中統一了契丹族，推進了契丹族曆史的發展。但最初遙輦氏聯盟也同樣遭受著北方突厥和南方唐朝的威脅壓迫，不得不依附於突厥，公元745年（天寶四年）回紇族攻殺突厥白眉可汗，推翻了突厥的統治。突厥毗伽可敦率眾歸唐。契丹聯盟長阻午亦率部降唐，唐拜阻午為鬆漠都督，封崇順王，賜其姓名李懷秀。不久，李懷秀殺唐賜公主而叛。
公元751年，唐將安祿山領幽州、平盧、河東三道兵六萬，以奚兵二千為向導，出擊契丹，過土紇真水（內蒙老哈河），又深入百餘千米直到契丹牙帳。奚族兵臨陣倒戈，與契丹兵聯合夾擊唐軍，戰於潢水之南，安祿山大敗，率二十騎逃走。從此，契丹與唐朝處於敵對狀態，尤其與唐北部安祿山兵連不解。
公元755年，唐朝爆發了安史之亂，此後，河北地區藩鎮割據，道路不通，契丹與唐很少往來，隻保持著“朝貢”關係，不再有政治上的聯係。這期間，回紇汗國盡有突厥故地，成了漠北強國，契丹族處於回紇汗國統治之下。回紇在契丹族、奚族地區都派有使臣監督，每年要征收賦稅，受回紇汗國的剝削和壓迫，發展緩慢，其氏族部落和聯盟的組織除了長官，首領的名號隨回紇改變外，沒有發生大的變化。
公元840年（唐武宗會昌六年），回紇汗國被黠戛斯部落推翻，回紇諸部逃散。公元842年，契丹遙輦氏部落聯盟長屈戌率眾附唐，唐封授屈戌為雲麾將軍，並頒發官印“奉國契丹之印”。
唐朝後期，中央集權削弱，地方藩鎮割據，內部矛盾尖銳，無暇顧及邊遠地區少數民族，加之契丹剛剛擺脫回紇的統治，周圍鄰族也相繼衰落，外部壓力減少，有了自身發展的時機和條件。公元860-公元873年（唐鹹通年間）的十多年中，遙輦氏鮮質為可汗，契丹部落聯盟逐漸壯大。公元885-公元887年（唐光啟年間）以後，契丹痕德堇可汗時，社會發展更為迅速，部落聯盟即將結束，國家產生已是必然。遙輦氏最後一代部落聯盟長痕德堇可汗被迭剌部阿保機取代後，阿保機建立契丹國。