京都洛陽離並州府晉陽（今山西省太原市）近千裏地，中途要經過胡兵割據的許多地方，其艱難險阻可想而知。隻是他作為文學家，具有浪漫主義情懷，毫不氣餒，在穿越波瀾壯闊的黃河時，他劍指河水：“不消滅胡虜，有如大江！”路經板橋，劉琨以千人的隊伍，打敗了劉淵大將劉景率領的萬餘名胡兵的堵截。他後來在寫給皇帝的奏折中寫道：臣自涉州疆，目睹困乏，流離四散，十不存二，扶老攜幼，不絕於路。死亡委危，白骨橫野。哀呼之聲，感傷和氣。輒以少擊眾，冒險而進。群胡數萬，周匝四山，動足遇掠，開目睹寇……如此危險的時刻，劉琨怎麼能睡上一個安穩覺？他枕戈待旦，隨時隨地地準備武器與敵決戰，成了家常便飯。
劉琨帶領著招募來的這點人馬，跋山涉水，衝破匈奴漢帝劉淵部的重重障礙，於永嘉元年（公元307）三月轉戰到了晉陽。這時，經曆了戰亂和饑饉洗劫之後，並州已經剩下不到兩萬戶，而晉陽僅是一座空城“府寺焚毀，僵屍蔽地，其有存者，饑羸無複人色，荊棘成林，豺狼滿道”（《晉書·劉琨傳》）。即便如此，劉淵的部眾還常常來騷擾搶掠。在這種極端困難的條件下，劉琨率領軍民，剪除荊棘，收葬枯骸，安撫百姓，招徠流民，一麵加強軍事防禦，一麵抓緊生產自救。老百姓攜帶著武器下地耕耨，士兵在周圍警惕地守衛。
這其中，最令人敬仰的是，作為臨危受命的將軍，他造府朝，建市獄，為晉陽古城寫下最為光輝的一筆。晉陽城是春秋末年趙鞅的家臣董安於建造的，曆經了800餘年的滄桑巨變，再加上風雨剝蝕、戰火熏烤，形同西晉王朝的一處破院。董安於當年建造的晉陽城，雖然為趙國的奠基發揮過重要作用，卻也不過“城周四裏”。此小城、危城，又如何能抵擋得了匈奴人？劉琨便決定擴建晉陽城，想構築起晉陽百姓的一處安樂窩。於是，一座新的晉陽城便在汾河岸邊拔地而起。“城周二十七裏”，比起原來的老城擴大了許多倍。就這樣，農人複耕，商賈得市。“一日之中歸者數千”，逃亡的百姓也紛紛回來了，“雞犬之聲複相接矣”。
劉琨還根據自己的切身感受，抒寫出了著名的《扶風歌》：朝發廣莫門，暮宿丹水山……據鞍長歎息，淚下如流泉……烈烈悲風起，泠泠澗水流。揮手長相謝，哽咽不能言……去家日已遠，安知存與亡。慷慨窮林中，抱膝獨摧藏……資糧既乏盡，薇蕨安可食……君子道微矣，夫子故有窮。惟昔李騫期，寄在匈奴庭；忠信反獲罪，漢武不見明。我欲竟此曲，此曲悲且長；棄置勿重陳，重陳令心傷。
鎮守並州十年間，劉琨麵對強敵，幾乎天天是打打殺殺的日子。圍繞晉陽城，多次和匈奴人開展拉钜戰。正如他在上表中寫道的：“勒據襄國，與臣隔山，寇騎朝發，夕及臣城……”此形勢下，他如何不“枕戈待旦”？
總結劉琨的一生，如果說聞雞起舞飄揚著他青春的旗幟，而枕戈待旦則是他人格價值的核心。從他抗擊匈奴漢帝劉淵的實踐看，枕戈待旦也同時是對他生命戰歌的生動寫照。
三、先吾著鞭——建功立業的艱難歲月
青年時的劉琨和祖逖聞雞起舞，被世人傳為佳話，可是不久他們就分手了，劉琨加入到二十四友文學社團中，祖逖在齊王手下做事。接下來八王之亂開始，二人分別事於不同的王爺。史評，青年祖逖輕財重義，有宏大的誌向。劉琨雖然才高八鬥，卻受到了當時奢侈風氣的影響。但是麵對動亂的時局，劉琨的態度是，在不斷進取中尋找實現自己抱負的途徑，他先後加入到趙王的團隊，趙王被殺後，又能夠與齊王、成都王等合作，最後在東海王執政時，獲得了建功立業的機會，踏上了去並州的道路。比劉琨長5歲的祖逖堅持數年後，也就是到八王之亂後期，對同室操弋的晉王朝極其失望，由於京城洛陽局勢危機，他隨著南遷避難的人們來到江南鎮江，借母親有病的理由，守門不出。
由於兩人在實現個人抱負方麵采取了不同的方法，因此，劉琨取得了較大的成功。
劉琨堅守晉陽，成為北方抗擊匈奴的中堅力量，在晉朝的皇帝被俘，洛陽失陷的形勢下，劉琨的作用就顯得尤為重要了。在幽州的王浚被劉聰大將石勒擊敗後，並州實際上處於領導北方抗擊匈奴的中心位置。當然，劉琨以孤弱之旅對抗正在處在上升中的匈奴勢力，所遭遇到的艱難困苦是難以想象的。即是如此，他堅持到了十餘載，中間許多以少勝多的故事，流傳到至今。有一次，匈奴五萬大軍圍攻晉陽，劉琨僅靠數千人的隊伍，守了一個多月。就在敵人疲憊之時，劉琨乘夜登上城樓，對著敵人吹起了胡笳。胡笳是古代匈奴民族的一種樂器，與現在的笛子相似，當時非常流行。劉琨長於吹胡笳，創作出了著名的胡笳五弄，即五首曲子。胡笳五弄反映的是邊塞生活，淒婉動聽，悲愴感人，能引起戍守邊塞者思鄉之情。劉琨趁著月光，發出幽幽的琴聲，一下子打動了匈奴士兵，瓦解了他們攻城的意誌，保住了晉陽城，創造了音樂史上的奇跡。
在河北淶源，還流傳著劉琨巧勝石勒的故事。石勒是後趙的創立者，當時依附於劉淵，英勇善戰。石勒率領十萬兵馬，企圖從側翼進攻晉陽。劉琨帶兵數萬前往阻擊。當劉琨率部趕到拒馬河邊的時候，石勒也攻打到拒馬河對岸二十餘裏的地方。劉琨深知石勒的實力，一路上不斷思謀良策，一看到了水流湍急，河麵寬闊的拒馬河，心中一動：這不就是一道阻擋敵兵的天然屏障嗎？當下，他便下令大軍在河岸布防，多備滾木擂石。兵馬布置妥當，劉琨心中又想：這道河雖然能阻擋石勒一陣，給他造成些傷亡，但他仗著人多，硬衝過來了怎麼辦？到那時，他強我弱，還是勝少敗多啊！劉琨領著幾個貼身衛士，信馬遊韁順河察看地形。絞盡腦汁，卻是一籌莫展。天色漸漸暗了下來，天空中烏雲翻滾，看樣子要下雨。劉琨一行人打馬急行，路過一片樹林，隻見一個放牛人把一條長繩繞在了幾棵大樹上，然後，他把牛群趕進這個繩子做的牛圈裏，那繩子正好擋在牛的脖子下邊，牛隻好乖乖地呆在裏邊了。看到這個情景，劉琨心中豁然開朗，把腿一拍，大叫一聲：“對，就這麼辦！”
劉琨返到大帳，立即傳令，一部分軍士到河上遊阻住水流，使水麵降低，另一部分士卒，趕製繩索、鐵蒺藜，然後在河中打上木樁，橫攻豎八栓上了無數條帶鐵蒺藜的絆馬索。石勒帶領兵馬到了河對岸。他遙望對麵劉琨的兵馬少於他，先自勝三分，加上一路上勢如破竹，所向無敵，所以便不把劉琨放在眼裏。見河麵風平浪靜，河水不深，便不讓軍卒休息，馬隊在前，步兵在後，擺開長蛇陣，要一鼓作氣，殺到對岸。哪料想，石勒的馬隊剛到河中間，隻聽劉琨陣中一聲驚天動地炮響，上遊雷鳴般湧來一股巨大的水流，刹時間，騎兵隻露腦袋，步兵衝走無數，騎兵再往回返時，那馬卻怎麼也走不回來了。原來，劉琨在河中布置的鐵蒺藜、絆馬索，近靠石勒這邊河岸，稍低一點，經水一衝，陡然高了起來。再加上剛衝時，戰馬勁頭足，難以抵擋，往回退時，亂了陣腳，戰馬光轉磨，就是回不去。石勒眼睜睜看著他驍勇善戰的騎兵全軍覆沒，不由大叫一聲，吐了口鮮血，從馬上栽了下來。眾兵將見主帥落馬，慌忙退兵三十裏。後來，終因過不了這條河，隻得怏怏而回了。這條由淶山發源的淶河，被改成了英雄的名字——拒馬河。