令狐盛的兒子令狐泥投奔劉聰，並將劉琨的虛實泄露出去。劉聰大喜，以令狐泥為向導偷襲晉陽，太原太守高喬投降，殺死劉琨父母。劉琨馬上聯合猗盧回擊劉聰並將其擊敗。猗盧認為劉聰一時還滅不了，便送給劉琨一些牛羊車馬，留其將箕澹、段繁等屯戍晉陽協助劉琨。劉琨一心想複仇，但力量不足，遂移居陽邑城，招集亡散士卒，撫慰傷病之人。
兵伐石勒遭亂身死
313年，晉湣帝即位，拜劉琨為大將軍，都督並州諸軍事加散騎常侍假節。劉琨上疏言謝，並表示與劉聰勢不兩立。建興三年（315），湣帝拜劉琨為司空，都督並、冀、幽三州諸軍事。劉琨推掉司空一職，接受三都督之職，約期與猗盧共討劉聰。但不久猗盧父子相殘，猗盧及其侄猗根都因病逝世，部落四散，劉琨之子劉遵先前作為人質在猗盧處，頗得人心。猗盧部落四散，劉遵與箕澹等帥盧眾3萬人，馬牛羊10萬歸附劉琨，劉琨威勢再次振興。
不久，石勒攻打樂平（今山西昔陽），樂平太守韓據向劉琨求救。劉琨認為自己勢力已經壯大，準備趁此機會打仗立威，震懾石勒。箕澹認為部眾新附難以駕馭，勸其不要出征。同時建議劉琨現在應當收購糧草、抄掠牛羊、發展生產、訓練士卒，待條件成熟以後再率兵出戰。劉琨拒絕采納，發動自己的全部士兵，前去與石勒作戰。石勒接到報告之後，迅速派兵占領險要地形，以逸待勞，設下伏兵。劉琨自投羅網，全軍覆沒，自己隻率領少數人狼狽逃脫，並州地區震動。兵敗勢單，天旱人饑，劉琨隻好去幽州投奔數次來信相邀的鮮卑首領段匹磾。段匹磾熱情接待，與劉琨結為姻親，約為兄弟，對他非常尊重。
建武元年（317），段匹磾推舉劉琨為大都督，發信邀諸郡守率兵在襄國聚合，共同商討攻打石勒。段匹磾的從弟末波因接受石勒的賄賂而故意拖延不肯發兵。劉琨與段匹磾感到兵力不足，於是停止了計劃。同年，晉元帝任命劉琨為侍中、太尉，其餘如舊，並贈名刀。劉琨表示一定親自執刀殺勒、聰二虜。
段匹磾兄長去世，劉琨派兒子劉群護送段匹磾奔喪，遭到末波襲擊，劉群被俘。末波厚待劉群，答應推琨為幽州刺史，共同攻擊段匹磾，將劉群所寫書信送給劉琨，約劉琨為內應，卻被段匹磾截獲。當時劉琨另駐紮於故征北府小城，不知道有此事，段匹磾與他見麵並把書信給他看。
段匹磾一直敬重琨，最初並無害琨之心，準備讓琨還營。其二弟叔軍有智謀，平素為段匹磾所信。叔軍對段匹磾說：“我們胡人所以能使晉人服從者，因為怕我們人多。現在我們骨肉相殘，正是晉人圖我們的良機。如果有人奉琨以起兵，我們全族都要滅亡。”段匹磾就把劉琨留住。劉琨之子劉遵害怕遭到殺害，便和劉琨左長史楊橋、並州治中如綏，閉門自守。段匹磾向他解釋，劉遵不聽，段匹磾下令攻打劉遵。劉琨部將龍季猛，因缺糧，就斬楊橋，如綏投降。最初劉琨離開晉陽，也考慮到段匹磾不一定可靠，企圖以至誠來感動段匹磾。因此每次和部下見麵時，都慷慨陳辭，訴說困境，準備隨時和部下戰死於於疆場，沒想到竟為段匹磾所拘。自己知道必死，作五言詩以贈其別駕盧諶。
劉琨一向忠於晉室，素有極高威望。西晉朝野人士對劉琨被拘都表示極為憤慨，但謀救劉琨卻遭失敗。權臣王敦一向忌憚劉琨，他秘密派人前來，要段匹磾殺掉劉琨。段匹磾縊死劉琨，子侄四人同時遇害。劉琨時年僅48歲。東晉朝廷因段匹磾勢力強大，準備借他消滅石勒，因此對劉琨的死未作任何反應。
太興三年（320），晉元帝司馬睿追贈劉琨為侍中、太尉，賜諡號曰“湣”。