正當劉家語同榮子桓鬧翻之後，我地下黨派到五十七軍一一二師師政治部工作的王武修被國民黨特務策反叛變。好在被發現及時，地下工委處理得果斷。因此，劉家語叫人將他秘密送往山東分局審查處理，未釀成大禍。但是，劉家語徹底暴露了。
鑒於這些複雜嚴重的新情況，劉家語應羅榮桓同誌之召，到費縣布袋峪彙報工作。劉家語一到，羅榮桓同誌就立即同劉家語長談。家語道：“我代表工委請示，能否在必要時，像山西新軍那樣，把隊伍拉出來？請首長考慮。”
羅榮桓道：“山西新軍是黨組織起來的軍隊，東北軍與它不同，發動起義拉隊伍，事關重大，必先報請中央決定……現你要壓住陣腳，提高警惕，靜觀形勢變化，做好應變準備。考慮到你的身份已經暴露，你要先行撤出來，其他呆不下去的同誌也要有計劃地撤出。你撤出後，可在八路軍一一五師掛個‘參議’的名義，繼續領導黨的東北五十七軍兩個師的工作。”
“好的，一定完成任務！”
劉家語立即秘密返回，召開師工委會議，作了傳達安排。家語接著收到了一封“母病速歸”的假電報，帶警衛員小王和宋繼柳向榮子恒“告假”，雙眼恨得出血的榮子桓，雖然想一口把劉家語吞下，但鑒於劉家語在東北軍的威信和在小王和宋繼柳的保護下，也隻好打掉門牙往肚子裏咽——放行。
劉家語到沂蒙山區根據地一一五師後勤部駐地大爐村住下，通過兩個交通員，一個是朱長祿，另一個叫劉遠，傳遞口信，或找人出來談話等辦法來領導一一一、一一二師地下工作。
不久，原東北軍工委書記項廼光在中原地區叛變。劉家語接到中央通知：凡與之有過聯係的同誌都要謹防遭到迫害。因此，李欣、程詠陶等也撤離一一二師。劉家語還將此情況秘密通報萬毅、常因多，要他們提高警惕。
此後，劉家語據中央領導和羅榮桓、朱瑞、陳光、黎玉、肖華、陳士榘等人的指示，同師工委的同誌對撤離行動作了周密細致的布置，逐個研究確定了撤退和留守的名單，選定撤離集合的地點和撤離的行軍路線，分別通知到每個同誌。
另外，還要求撤離人員不帶走東北軍的一人一槍；原來掌管錢、物的撤離人員，要造妥交割清楚的單子。要求少數堅持崗位的同誌要做好隱蔽，提高警惕。這些準備工作大約花了半個多月的時間。
一天早上，人們忽然發現，部隊中許多人不知去，這些人的枕頭下麵都有一份印好的《告東北軍抗日將土書》，宣布：“我們是為抗日救國而來，為抗日救國而去，此處不給我們繼續抗戰的機會，隻得另尋為抗戰盡力的地方。”
有的枕頭下還有賬單，表明兩袖清風，無私無弊。反動分子大驚失色，愛國官兵歎惋不已。撤出的當晚，劉家語帶著八路軍的一個連在集合地點等候撤離同誌的到來。當東方布滿朝霞時，劉家語和這個連隊護送二百八十多名撤出來的同誌向山東分局駐地進發。
他們到達分局後，經過一段學習，都分赴新的戰鬥崗位了。劉家語留在山東分局，任山東軍區秘書主任和山東分局統戰部長，仍負責聯係東北軍的工作。
劉家語來到了八路軍一一五師後工作更忙了，他的主要的工作量不單單放在東北軍一一二師了，還要把精力放在這個東北軍的一一一師等部。他還時常到蘇北的新四軍三師重等處走動，擴大統戰工作的成果。