蔡希德看過聖旨之後，回頭望了一眼正在攻城的將士，歎息一聲說道：“可惜了，這些衝鋒的軍士，一個個生龍活虎，守城的唐軍已經疲憊不堪了。今天就有可能登上城樓，如果再有兩天，定能攻下上黨了。但常山反叛，根據地不能丟，讓程千裏逃過這一怯了。”當即鳴金收兵。
軍隊退回之後，當夜悄悄的撤回雲中城，蔡希德對薛忠義說道：“接到了皇上的命令，本帥立即帶領精兵進攻常山，你和高秀岩鎮守雲中，程千裏沒有力量反攻，但唐朝的邊防軍完好無損，有可能增援。你們不能大意，要保持高度警惕。”布置好防禦之後，他親自帶領一萬騎兵奔襲常山。
史思明接到徐歸道的報告，唐軍兩支軍隊夾攻平盧，請求增援。他正準備帶領主力，前去消滅這股唐軍。安祿山的命令到了，他立即改變主意，至平盧徐歸道的求救不顧，親率大軍南下。他的謀士耿仁智說道：“平盧乃薊城的門戶，不能丟失。”史思明說道：“作為根據地的常山更為重要，一旦讓叛徒立足了，後果不堪設想。寧可用牛刀殺雞，也不能姑息養奸。”揮兵南下。
顏杲卿穿上紫袍走進太守衙門，袁履兼、馮虔、翟萬德等人上前祝賀。顏杲卿開懷大笑：“想不到我六十五歲還能紫袍加身，皇上英明啊。我等定當竭盡全力保衛大唐，從此以後我這條老命就屬於大唐，為大唐而生，為大唐而死。”
袁履兼說道：“廉頗八十還能保衛鄭國邊境，大帥正當壯年，定能立下平叛的不世奇功。”顏杲卿說道：“你也有功，升任常山太守，今後有擔重擔子喲。”袁履兼說道：“下官是沾了元帥的光了。”
在眾人的吹捧之中，顏杲卿躊躇滿誌，高聲說道：“我們不能得意忘形，要防備叛軍反撲。現在太原空虛，王承業元帥命令我們從東向西攻擊，配合他兩麵夾擊，奪回北京太原，卡住河北要衝。方將軍正在教場操練軍士，我們去看看，鼓舞鼓舞士氣。”
傳令兵急匆匆的跑到顏杲卿的身前：“報告太守，探子報告，史思明帶領大軍從薊城殺來了，距離不足五十裏了。”“好快，火速通知方先鋒官速速迎戰。”顏杲卿帶著幕僚匆匆返回衙門。他雖然知道，反叛的事遲早要公開的，但還是沒有想到叛軍會這樣快就攻來了。
史思明領軍到達，他讓軍隊圍住了北門和東門，一箭之外紮下營壘。等待蔡希德，並沒有急於攻城。第二天蔡希德帶兵將西門和南門圍得水泄不通，他向城樓喊話：“顏杲卿，你這忘恩負義的小人，趕快獻城投降。如果頑抗，將死無葬身之地。”
常山城中人心惶惶，很多人勸慰顏杲卿，要他再來一次詐降。但是他沒有，並且對那些人說道：“我現在是朝廷的衛尉卿，常山前線的最高指揮官，寧可戰死，也不能投降叛軍。”袁履謙說道：“此事不可再二，為今之計，隻有希望王承業能夠引兵前來，內外夾擊，擊敗叛軍。”