電影的主題曲《彈起我心愛的土琵琶》也是影片中的一大亮點，悠揚的土琵琶聲聲，將革命浪漫主義樂觀精神傳頌，在當年不知感染了多少中國人。時隔多年，它依然清晰地流淌在人們的記憶裏，在今天的各種音樂會、酒吧、KTV裏，還在被廣為傳唱。
作曲者呂其明是一個高產的作曲家，一生為幾十部故事片、上百部（集）電視劇作曲，還創作了為數眾多的聲樂作品和交響樂。從1980年以來，他先後榮獲24項音樂創作獎。其中因《城南舊事》中的音樂創作還於1983年獲得了第三屆中國電影“金雞獎”最佳音樂獎，在2005年6月，紀念中國電影百年之時，他榮膺中國電影音樂終身成就獎。這個著名音樂人，當年為《鐵道遊擊隊》作曲時年僅26歲，他在日後的創作劄記中曾經談到：“主要是生活給了我靈感，在創作這首歌的時候，我聯想起我在抗日戰爭中經常看到的那些穿便衣、紮著子彈帶、手拿套筒槍和大刀的遊擊隊員，他們的形象使我難忘，我覺得從這些遊擊隊員口中隻能唱出的是語言生動、通俗、民族風格強烈的歌曲。”①引自央視國際：http：//www.cctv.comprogramyyzs-new20060105101671.shtml。“往昔的戰爭生活給了我創作的靈感，我覺得應該寫成一首近似山東民歌的東西，把抒情和戰鬥的情緒結合在一起。動起筆來十分順利，好似洪水打開了閘門，一瀉千裏。”①丁光清：《“土琵琶”奏響紅色旋律》，2005年12月12日《安徽日報》。
呂其明固守著“生活是創作的源泉”這一真理。他於1945年底隨部隊到達山東後，便致力於山東民歌、戲曲的研究，他經常和當地的老百姓一起共唱民歌，從而探索其中的特點，尋求語言和音調相配合的最佳結合點。當浪漫的革命樂觀主義英雄主義情愫與山東民歌獨特的旋律在這位年青的天才音樂人頭腦中碰撞出智慧的火花時，就誕生出了《彈起我心愛的土琵琶》這首經典名曲。他還充分借用了中國民間樂器——土琵琶這一最佳載體，使抒情的曲調、鄉土的風味、淳樸的感情、流動的音符完美地結合起來，浪漫而又深切地將遊擊隊員們的瀟灑自信和蓬勃的革命激情表現得淋漓盡致，扣動了那個時代所有中國人火熱的赤子之心，贏得了廣大群眾的好評和喜愛，成為了一首膾炙人口、流傳久遠的佳作。
這部電影在當年贏得了如潮好評。隨著電影的公映，鐵道遊擊隊成為了那個年代男性心中激動人心、令人熱血沸騰的名稱，影片中的英雄更是成為眾多男性崇拜的偶像。據《中國青年報》報道，一位生於上個世紀60年代的電影觀眾回憶說：“有一陣子我老想爬上奔馳的公共汽車”。①白瑞雪、張玉清、梅世雄：《鐵道遊擊隊：鋼刀插進敵胸膛》，2005年5月21日《中國青年報》。在當時還掀起了一股起名熱潮，很多年青父母用片中英雄的名字為子女命名。說不清是那把土琵琶那首“動人的歌謠”，還是隊員們驚心動魄的殺敵傳奇高昂的鬥爭精神感染、震撼了電影觀眾；道不明是那支將革命和浪漫結合得十分完美的插曲成就了電影，還是那部扣人心弦的老電影讓記憶中的歌聲曆久彌新。總之，殺敵傳奇與動人歌曲相得益彰，1956年版電影《鐵道遊擊隊》讓幾代觀眾把魯南那支神奇的抗日隊伍以及他們的事跡銘記於心。黑白膠片把他們動人的事跡封存，給人永久的震撼和感動。
五十年代初期，上海人民美術出版社的連環畫家丁斌曾、韓和平初次閱讀知俠小說《鐵道遊擊隊》時，便被它生動曲折的故事情節、智勇雙全的英雄形象深深吸引。作為資深的連環畫工作者，他們敏銳地發現這是一個創作連環畫的絕佳素材，立刻決定通過連環畫的形式形象化地表現這一故事。他們通過反複閱讀原著，對腳本進行詳細分析研究，從中尋找可能在創作中產生的疑難，如人物造型、環境特征、道具等等，並決定深入山東體驗生活。劉知俠得知他們要將其小說改編繪製成連環畫，非常高興，特為他們提供很多幫助：為他們介紹了自己的創作過程；細致解答他們提出的問題；親自研究腳本，提出利於完善改編工作的修改意見；介紹了鐵道遊擊隊當年活動的主要地方，提供了如何找到相關隊員的重要線索，以便他們能有的放矢地體驗生活。