1946年，正當知俠準備就緒要動手寫作時，解放戰爭爆發了。為了粉碎國民黨反動派對山東的重點進攻，軍民一致投入了緊張的戰鬥。當時我軍戰略性地從魯南暫時撤退，並將鐵道線拆除，鐵道遊擊隊因此轉入主力作戰，知俠受命到其他戰場接受新的任務。因此，知俠不得不將創作擱置下來，而這一擱就是數年。在這與鐵道遊擊隊分開的數年中，知俠始終牢記著他們共同的夙願。每當戰鬥或工作之餘，知俠就把鐵道遊擊隊的戰鬥故事講給戰友和同誌們聽，大家聽後深受鼓舞。最初是他主動講，後來聽故事成了休息時間大家的一致愛好，常常是大家見他空閑便上前圍住他搶著聽、爭著聽。由於知俠對鐵道遊擊隊故事中人物的喜愛和熱心傳播，有的同誌幹脆就稱呼他為“鐵道遊擊隊”了。①知俠：《鐵道遊擊隊·後記》，《鐵道遊擊隊》，作家出版社上海編輯所，1965年版。當時所講的故事便是今天小說的胚胎。全國解放以後，由於新接任的工作特別繁忙，知俠的創作一直遲遲未能實現。直到1952年，知俠接到了上級正式交給他寫作《鐵道遊擊隊》的任務，才最終得償所願。
1952年，知俠正式開始創作《鐵道遊擊隊》。在動筆之前，他又找到鐵道遊擊隊的領導人王誌勝、杜季偉等，到魯南去了一趟。再次故地重遊遊擊隊的主要戰場：碳廠、洋行、打票車的三孔橋等；重遊微山湖，夜宿微山島；重溫了抗戰時期他們火熱的鬥爭生活。鐵道遊擊隊隊員們過去在那裏所經曆的英勇頑強的戰鬥，如在昨日發生，在知俠的腦際裏曆曆猶新。從魯南回來後，他就開始寫《鐵道遊擊隊》這部小說。創作之中，為了更加立體生動地塑造英雄形象，他還專門剖析了一遍《水滸傳》，“在寫作上盡可能注意以中國民族文學的特點來刻畫人物，避免一些歐化的詞句和過於離奇的布局和穿插，把它寫得有頭有尾，故事線索鮮明，使每一個章節都有一個小高點”①知俠：《〈鐵道遊擊隊〉創作經過》，《新文學史料》，1987年第1期，第180頁。，力求用人民群眾喜聞樂見的方式塑造中華民族自己的抗日英雄。
如上所述，從知俠1943年與鐵道遊擊隊英雄的偶然邂逅讓他萌生寫作此書的念頭，到隨後幾年間他數次深入實地采訪，再到1952年動筆，1953年成書，所曆整整十年。正所謂十年磨一劍，鞘出誰爭鋒？長篇小說《鐵道遊擊隊》於1954年１月由上海文藝出版社出版之後，作為革命戰爭題材中十分突出的好作品，立即成為了當時各個年齡層次和文化層次的群眾的搶手讀物，在讀者中引起強烈震撼，迅速形成了一股席卷全國的“讀鐵道憶抗戰”的旋風。小說一經出版，便於當年一版再版，並先後被譯成英、俄、法、德、越等近十種文字，成為全世界反法西斯戰爭中打擊異族侵略者的傳奇經典，在世界各國擁有眾多讀者。劉知俠因此一舉成名，他在中國當代文壇的地位也由此奠定。