一九四0年九月，劉家語被調到中共中央山東分局機關工作。
七七事變後，長期堅持地下鬥爭的山東黨組織，高舉抗日大旗，組建人民武裝，開展敵後遊擊戰爭。一九三八年五月，中央決定將山東省委擴大為蘇魯豫皖邊區省委，當年十二月又改建為中共中央山東分局，將黨領導的各抗日遊擊隊統一組編為八路軍山東縱隊。
翌年三月，羅榮桓同誌率八路軍—一五師東進山東到達濱海，進一步壯大了山東抗日根據地。一九四0年八月，全省統一的人民抗日政權機關——山東省戰時工作推行委員會（簡稱“戰工會”）成立。分局機關、一一五師師部、戰工會一起行動，成為山東敵後抗戰的領導指揮中心。
起初，分配給劉家語的工作崗位，是山東軍分委秘書主任兼分局統戰部部長和一一五師統戰部部長，以後又讓劉家語兼管了分局秘書長的工作。
到分局機關以前，劉家語一直做黨的地下工作，此時由“地下”轉到“地上”，工作環境、工作內容、工作方法都同過去有很大不同。劉家語認真觀察學習，很快就熟悉了。
劉家語在分局機關的任務是參與政務管理事務。重要工作之—是掌管機要、起草文電以及一些上情下達和下情上達的聯絡調研工作。
當時，山東分局和軍分委的重要電稿，有些由朱瑞、羅榮桓同誌親自動手寫，大多數則由劉家語根據他們的意圖起草。
劉家語發現語言文字居然有如此不同的奇妙功能，用以寫，重在形象化，似不嫌其長；用以寫電稿，則重在高度概括，力求其短，要用幾十個字甚至十幾個字準確鮮明地表述一個重要事件、一次重要戰鬥或一項工作部署。文章之道的學問實在不小。
劉家語還主編分局內部刊物《山東工作》，擬定選題，征集稿件，編輯印發，事情很具體，花費精力不少。
作為秘書行政部門的主管，劉家語還得料理機關人員的生活。
當時的生活當然比現在簡單，但是限於環境條件，許多事也不好辦，保障夥食標準就不容易。劉家語同膳食科的同誌共同努力，想方設法，讓大家吃飽飯，可能情況下吃得好點兒。分局的幹部來自四麵八方，許多人是功績卓著的老革命、老紅軍。
劉家語不僅要處理好本部門同他們的關係，也要協調好他們分管部門之間的關係，頗費心思和工夫。我緊緊依靠分局首長的領導和支持，謹慎謙虛，注重搞好各方麵的關係，也使我的組織協調能力得到了鍛煉和提高。
劉家語到分局工作不久，從山東分局的《告前線將士書》上，得悉山東部隊十二個支隊中，至少有五個支隊的負責幹部，都是劉家語的同學或在東北軍學兵隊時的戰友，如汪洋、王一平、張崗、韓去非、李耀文等，還有的同學如曹漫之等擔任地方的專員等職務。
這此同誌出生人死，英勇奮鬥，為發展和壯大山東抗日根據地做出了很大貢獻，劉家語為此感到特別高興。而與他們的往來與書信，也為劉家語協助領導同誌了解各地情況多了一些渠道。
分局機關對理論學習抓得比較緊。黨的組織生活每周一次，每周還有兩個半天的理論學習。朱瑞、羅榮桓同誌的理論造詣很深。劉家語決心利用這個良機認真讀點兒書，以彌補在此之前長期從事黨的秘密工作未能係統學習理論的欠缺，硬是啃了幾本馬列主義原著，寫了幾本學習筆記。
當時，劉家語曾產生過以自己地下工作的經曆為素材，寫一部長篇的願望。劉家語在北平左聯工作時，寫過一些短篇，發表在左翼文學雜誌《泡沫》、《浪花》和其他文藝刊物上。還有一個中篇的初稿，曾請北大進步教授吳文祺指教。他鼓勵劉家語一定再下一番功夫把它整理出來發表。因為劉家語不久就到東北軍工作，抗戰爆發後連續行軍戰鬥，未能付諸實行。