在戰鬥中，劉的遠不顧自己的生死安危，兩次救護石敬瑭脫難。石敬瑭感而愛之，以其護援有功，奏請將劉的遠留在自己帳下，做了一名牙門都校，不久升任馬步軍都指揮使從石敬瑭一起為後唐明宗手下將領，後幫石敬瑭建立後晉，被任為河東節度使，北京(今山西省太原市南)留守等職。
石敬瑭得助於劉的遠等人謀劃，在開封稱帝，建立了後晉，是為後晉高祖。
從此，劉的遠以其軍政才能和佐命功，曆任檢校司空、侍衛馬步都指揮使、點檢隨駕六軍諸衛事、許州節度使、朱州節度使、檢校太傅、北京（今太原）留守、河東節度使等職，日趨顯貴。
石敬瑭當了七年皇帝，於後晉天福七年（公元942年）死去。
養子石重貴即位，是為出帝，劉的遠也遷檢校太師，進位中書令。
後晉開運元年（944年），契丹主耶律德光率軍南下，劉的遠作為幽州道行營招討使，在忻口大破契丹軍，累遷太原王、北平王，之後又在朔州陽武穀再破契丹。劉知遠在這段時期的主要意圖是稱霸河東，成就王業。
因此對朝廷的詔命半推本就，一方麵不服調遣，作戰中逗留不進，另一方麵也主動出擊一下，好讓朝廷與契丹不致小看自己。劉的遠認為：契丹乃遊牧部族，貪殘且失人心，加上中原人民的不斷反抗，不會久居不退。
石重貴繼位後，進封為北平王，拜中書令。也是說這時劉的遠的官位高，功勞大，勢力強，為石重貴所猜忌。
國舅潘偉慶更視之為眼中釘巴不得除去而後快的。
皇上命令：“朕命你為鎮平大將軍——即刻討罰蠻子讓他們來個措手不及，不得有誤。”
“微臣領旨。”
劉的遠雖說接了旨令，感覺自己還睡未醒的一樣。
“對！早就該這樣的。”
國舅潘偉慶恨不得能落井下石說。
他不是答應兒子潘安子為他報一箭之仇嗎？他清楚的記得，那天兒子打獵回來帶著滿身的傷痕狼狽回到府邸的情形，用慘不忍睹幾個字來形容也不為過的。
可他卻遲遲未能為兒子實現他的心願，原因很簡單的，他對於這對虎父無犬子的父子還是有所忌諱的，弄不好可能會掉層皮或者不隻掉皮那麼簡單的，俗話說知己知彼才能百戰百勝的，這不？最好能趁蠻子的手除去他這顆眼中盯、肉中剌。
隻有把他這顆眼中盯、肉中剌除去，劉的遠那臭小子劉佐佑還不象籠中取物一樣？他潘氏族家將所向披靡無敵，江山豈不就在他的股掌之中？
誰者知道，這繼任的皇上石重貴是個莫包，什麼都得聽潘貴妃的，而潘貴妃的後台則是他潘偉慶——當朝的國舅爺。
也即是說，整個朝廷所有的事都在他的股掌中。
劉的遠聽到國舅潘偉慶那麼說，真想發作。“什麼早就該那樣的？那說清楚點。”
他是不自量力呀！這兒哪有他說話的本錢？也不自己掂量掂量，隻不過大草包一個。
皇上石重貴打圓場說，“大家別激動，還是都是為咱朝廷著想？為咱百姓能安居樂業著想？”
皇上知道就好，反正大家都心中有數。
就這樣，劉的遠這次又出征討遼兵。
對於這次的討罰遼兵的戰鬥，他至少在表麵上也不大反應，也沒拒絕皇上讓他討罰遼兵，不然別人會怎麼看他？以為他被打怕了的，特別以國舅爺潘偉慶老賊為首的他們，還不把他看扁了？
總之以他一介武夫出身的人，理應走在前頭打頭陣的，才有此大將的風範。
至於到戰場上該怎麼打？要怎麼打？那就是他的事嘍！也就是說一切的決定權、主動權該掌握在他手心裏的。桃
固在那場晉遼交戰的期間裏，他竟然守境不出，招募軍士，以壯大力量。
當遼軍進入汴京時，他則派部下以祝賀勝利為名，聲東擊西的以去汴京察看形勢、探聽虛實，知道遼軍很不得人心的。