王安統算了一下並州兵馬，共有十四萬五千餘人，可並州地處邊陲，要防禦的地方實在太多，除了被圍在中間的定襄郡，其餘各郡皆需要防備，所以兩路大軍西征後帶回的部隊被分派到各郡後實際所剩不到五萬人。為了不打草驚蛇，郭嘉提議以雁門為界集大軍六萬分兩大路六小路分別由關羽、趙雲、張遼、典韋、高順、裴元紹以練兵的名義分批暗中靠近太行山西側。關羽、趙雲分別為兩路軍統率，郭嘉、沮授為兩路大軍軍師，周倉、睦固分別跟隨兩路主帥為副以便聯絡黑山軍。劉琦親率田豐、王安坐鎮壹關，調集上黨守軍兩萬，統等糧草和機動增援各方。
黃巾起義軍主力被鎮壓後，統治階級發生內訌，在此期間，冀州黑山等地農民紛紛起義，用各種名號組織起來。自黃巾賊後，複有黑山、黃龍、白波、左校、郭大賢、於氐根、青牛角、張白騎、劉石、左髭丈八、平漢、大計、司隸、掾哉、雷公、浮雲、飛燕、白雀、楊鳳、於毒、五鹿、李大目、白繞、眭固、苦哂、羅市之徒，並起於太行山穀間，多不勝數。……各有所因。大者二三萬，小者六七千。賊帥常山人張燕，本名褚燕，於黃牛起義時跟隨張牛角起事。黃巾之亂被鎮壓後，張牛角領著張燕等人潛入太行山中，與中山、常山、趙郡、上黨、河內諸山穀寇賊相交，眾至百萬，號曰黑山賊。黑山軍的活動區域是中山、常山、趙郡、上黨、河內等地太行山脈的諸山穀之中。黑山則位於太行山脈的南端，史書稱之為黑山軍。而太行山脈高峰迭起，海拔多在兩千公尺以上。山脈東南為河北平原，西北則為山西高原，河北平原通向山西高原的陘道多分布在太行山脈之間。太行山脈這一地勢特點為分布在太行山各山穀中黑山軍各部的相互聯絡和戰略上相互配合提供了較為便利的條件。
征戰中，張牛角被流矢射中，身受重傷，臨死之前，收褚燕為義子，命令他的部下尊奉褚燕為首領。張牛角死後，眾人一起擁戴褚燕為首領，於是褚燕改姓張，喚作張燕。張燕因身輕如燕，又驍勇善戰，所以軍中都稱他為“飛燕”。後來張燕的部隊不斷壯大，與常山、趙郡、中山、上黨、河內等地叛匪互相聯絡，叛匪中的小頭領張白騎、陶升、孫輕、王當等人，都帶著部眾歸附到張燕麾下，張燕部眾發展到近百萬人，成為黑山一代叛匪的最大勢力。
壹關以南山脈則由於毒、髭丈八、劉石、青牛角、左校、郭大賢、李大目、於氐根、白繞、眭固、苦哂、羅市等部占據。眭固在張楊作上黨太守時兵敗被擒，後降於張楊。於毒在魏郡叛亂被殺後，眾人推選郭大賢為帥，北聯張燕，意欲合軍。
白波穀軍將領楊奉被劉琦斬殺，郭太見回並州無望，領韓暹、李樂、胡才等人在王允當權時向朝庭遞上降表，領兵盤居在河東境內。
裴元紹與張燕相識，曾於張角手下共事，張角死後黃巾被打散，大家各自奔逃，占山為王，已經多年不曾相見。而眭固本來就是壹關以南的小帥之一，與於毒不合，但與郭大賢、李大目、白繞等關係不錯，投靠劉琦前一直還有聯係。