此次劉知遠被任命為石敬瑭的副將，自領一軍。這一軍名叫威遠軍，是石敬瑭在當地新募百姓組建。對此，劉知遠安心領了命令，石敬瑭卻十分過意不去，說道：“以你的本事，我的左射軍給你也是應該的。不過這次皇上命我等廣練士卒，以備契丹，這新軍，給誰我都放心不下，隻有你能當此重任。”
石敬瑭的親信幕僚，都虞侯桑維翰也在一旁說道：“將軍，此事非將軍而不可，將軍放心，節度使與某，定然優先保證威遠軍的糧草器械！”
劉知遠哈哈大笑：“節度使放心，為朝廷練新兵，末將求之不得！”
雖然從一個小州的團練使，變為一軍的指揮使乃是升官了，但劉知遠並沒有什麼得意，他知道新兵並不好訓練。老上司石敬瑭對他照顧有加，但是劉知遠仍然費了好一番力氣，將自己從幽州帶回來的幾十號人都撒了下去，才勉強控製了這幾千號人。
好在，衣甲兵器並不缺，天雄軍這邊從軍的也是素有傳統，三個月，劉知遠的威遠軍就看起來像模像樣了。
契丹那邊，傳來了契丹大軍遠征室韋的消息，也讓大家都放下了心。雖然第二年契丹還是出兵攻陷了平州，但是並未深入，石敬瑭的大軍也沒有接到調令，就這麼安心在天雄軍繼續整軍練武。
時光荏苒，一轉眼就是四年。這四年裏，各地節度使雖然屢屢叛亂，但大體上，大的戰亂並不多，還算得上平靜。威遠軍的士卒在劉知遠的督促下，已然是一支精銳之師。
這幾年，在李嗣源的統治下，後唐國內大體安穩，明宗李嗣源改元長興。就在這一年九月，鎮守東川的守將董璋反，石敬瑭被任命為行營都招討使，帶領天雄軍和汴州的軍馬征討董璋。東川地勢險要，董璋依仗地勢層層設防，並不出擊，勇猛如石敬瑭，也是無可奈何。攻了幾次，損兵折將，卻無寸進，加上天降大雨，隻好收兵而回。
大軍剛回到駐地，警訊傳來，邊境烽煙四起。契丹聯合突厥、土渾，幾路大軍就打了過來。李嗣源下旨，任命自己的兒子秦王李從榮為六軍大使，石敬瑭為副使，召集大軍迎戰。聖旨剛下，石敬瑭就將劉知遠和自己的親信桑維翰一起叫到了自己的大帳之中。
石敬瑭作為李嗣源的女婿，與李從榮速來不睦，加上此次契丹和突厥、土渾人多勢眾，而他並不看好李從榮帶兵的能力，生怕此次出征有個三長兩短的。桑維翰和劉知遠深以為然，也覺得這次不宜出征。得到左膀右臂的支持，石敬瑭回稟明宗李嗣源，推辭了六軍副使的任命。
得到石敬瑭的回複，李嗣源與大臣們一商量，都覺得此次非石敬瑭不可，於是李嗣源再次下旨，言辭懇切，同時拜石敬瑭為河東節度使、大同彰國振武威塞等軍蕃漢馬步軍總管，落六軍副使。河東乃是後唐的起家之地，李嗣源將河東這個地方都給了石敬瑭，誠意不可謂不足，石敬瑭這才接受了任命。
此次後唐調集全部人馬，僅糧草輜重就準備了月餘，等到大軍開赴邊境，契丹等早就將北方幾州劫掠一空撤軍了。
石敬瑭帶著自己的軍馬，直奔自己的駐地河東。
作為一個亂世中殺出來的豪傑，石敬瑭深知精兵的重要。在河東，他並沒有大肆招兵買馬，而是親自出動，將麾下五萬士卒好一番整訓。每日裏，石敬瑭總是要抽出半日的時間，帶著牙兵親衛，親自來到各軍駐地，督促練兵。劉知遠作為石敬瑭的親信，威遠軍自然得到了石敬瑭的重點關注。