呂叔湘孜孜不倦地從事研究工作，他於1942年至1948年在《中國文化研究彙刊》上發表了《“相”字偏指釋例》、《“見”字之指代作用）、《論“底”“地”之辨及“底”字的由來》、《與動詞後“得”“與”“不”有關之詞序問題》、《“個”字的應用範圍，附論單位詞前“一”字的脫落）》、《把字用法的研究）等一係列語法論文。又在《開明書店二十周年紀念文集》上發表了《從主語賓語的分別談國語句子的分析》一篇長文，對解放後的主賓語討論有一定影響。
呂叔湘也很重視語言學的普及工作，寫出大量的深入淺出、取材精當的文章。在《國文雜誌》（桂林）上發表過《文言和白話》、《漢字和拚音字的比較》、《筆記文選讀》（連載），在《中學生》上發表過《中國人學英文》（連載）。1944年由開明書店出版的《文言虛字》，選取最常用的二十多個文言虛字，條分縷析，詳細舉例，說明它們的意義和語法功能，並盡可能和現代漢語比較。解放後，此書由中國青年出版社印了十三次，新知識出版社印了四次，上海教育出版社印了十三次。
1946年，呂叔湘隨金陵大學由四川返回南京，仍舊任該校中國文化研究員，同時兼中央大學中文係教授。又和朱自清、葉聖陶合作編寫《開明文言讀本》（計劃編六冊，隻出了三冊）。
呂叔湘是一位道道地地的學人，非迫不得已，不參加社會上種種應酬，而是一門心思研究學問。呂叔湘治學態度嚴謹，他的著作總是理論聯係實際，處處體現嚴肅認真、實事求是的作風。無論是長篇巨著，還是一二千字的短文，都要逐字逐句地仔細推敲，從不馬虎敷衍。
他在讀書的時候，遇到有用的材料，從來不放過，一定抄錄下來，“說不定什麼時候有用”。他在《這、那考原》這篇劄記裏，為了證明“這”字的前身“者”字在宋朝時已經跟現在的“這”字一樣念去聲，引用了兩個例子。一個是楊萬裏的詩“隻者天時過湖得，長年報道不須愁”，作者在“者”字底下自己注上“去聲”。一個是《朝野遺記》裏有一條，記劉攽請客，蘇軾要先走。劉說：“幸早裏，且從容。”蘇軾說：“奈者事，須當歸。”各以三果一藥為對（杏、棗、李，蓯蓉；柰、蔗、柿，當歸）。有人問呂叔湘：“這麼巧的例子是怎麼找來的？”呂叔湘坦率地說：“說實話，找，未必找得來。這是還沒有寫這篇劄記的時候就摘錄下來的。”
呂叔湘對中國學生學英語也很關心，在開明書店出版了《中國入學英文》、《中級英文法》、《英譯唐詩百首》等書，在正中書局出版了《英華集》，呂叔湘原來將此書題作《中詩英譯比錄》，出版社硬把它改了；到1980年上海外語教育出版社重印時才恢複原名。
1948年12月，呂叔湘由南京遷居上海，任開明書店編輯。解放後，他隨開明書店遷往北京。
1950年2月，呂叔湘應聘任清華大學中文係教授。1952年高校院係調整，改任中國科學院語言研究所研究員，同時也是中國文字改革研究會（1954年改為中國文字改革委員會）的委員。
新中國剛成立不久，領導上考慮到機關幹部以及報刊來稿上都存在著語言混亂現象，約請呂叔湘和朱德熙合寫了《語法修辭講話》在《人民日報》上連載。這個講話不作理論上的闡發，盡量少用術語，主要通過舉例來說明。全書六講中除第一講簡單介紹語法體係外，其他各講都是舉出報刊雜誌、課本、文件、文稿等時常出現的病句，分別從語法、修辭、邏輯等不同的角度一一加以解釋說明。《人民日報》於1951年6月6日起開始連載，並發表了《正確地使用祖國的語言，為語言的純潔和健康而鬥爭》的社論。社論明確指出：“我們的學校無論小學、中學或大學都沒有正式的內容完備的語法課程。”“正確地運用語言來表現思想，在今天，在共產黨所領導的各項工作中具有重大的政治意義。”一段時間內，在全國範圍掀起了學習語法、教學語法、研究語法的高潮。也就在這個時候，《中國語文》、《語文學習》、《語文知識》等刊物相繼創刊，有力地推動了語法知識的普及。不僅學校普遍地加強了語法教學，就是機關幹部、工人、解放軍戰士等也開始以《語法修辭講話》和其他語法著作為教材，紛紛學習語法，範圍之廣，在中國曆史上是前所未有的。
1953年3月至5月，呂叔湘參加中國科學院訪蘇代表團，6月兼任語言研究所副所長。擔任行政職務以後，呂叔湘寫作的時間少了，但還是在《中國語文》上發表了幾篇論文，其中《漢語研究工作者的當前任務》（1961）比較重要，它圍繞現代漢語講規範化問題，提出了語音、語彙、語法、修辭、方言、漢語史、文字改革、語文教學、工具書和參考資料的編輯等十個方麵的具體任務，並對每一個方麵的研究重點、應當達到的目標進行了詳盡的論述。
這個時期，他還參加了兩項與語文教育有關的工作。一項是參與擬訂《暫擬漢語教學語法係統》的工作，另一項是指導和校訂初中《漢語）課本。後者是應當時將語文課分為《文學》和《漢語）兩門的需要而編的，試用兩年之後，這兩門課又合並為《語文》一門，但六冊《漢語》課本仍然繼續在學校內外發揮相當作用。至於《暫擬漢語教學語法係統》的影響就更大了。
在1955年召開的現代漢語規範問題學術討論會上，決定要編一本《現代漢語詞典》，1956年開始籌備，1958年開始編寫，呂叔湘負責主編，到1960年印出“試印本”，向各方征求意見。這項工作後來就由丁聲樹負責。