公元９２６年，李存勖聽信宦官讒言，冤殺了大將郭崇韜。另一戰功卓著的大將李嗣源（係李克用義子）也險遭殺害。是年三月，無奈的李嗣源在將士們的擁戴下，率軍進入汴京，準備自立為帝。李存勖得訊忙拿出內府的金帛賞給洛陽的將士，逼他們開赴汴水試圖阻擋住李嗣源的進攻。軍到中牟縣，聽說李嗣源已進入汴京。李存勖知道大勢已去急返洛陽，路上兵士竟逃走一半。回到洛陽後，他又試圖抵抗李嗣源的進攻。四月，李嗣源先鋒石敬瑭帶兵逼進汜水關（河南滎陽汜水鎮），李存勖決定自己率軍去扼守。丁亥日，軍隊按照他的命令在洛陽城外等候出發，李存勖正用早餐。這時，被提升為直禦（親軍）指揮使的伶人郭從謙趁軍隊都調到城外候命之機發動兵變，帶著叛亂的士兵亂殺亂砍，火燒興教門，趁火勢殺入宮內，在混亂中射死了前來帶領侍衛抵抗的李存勖。據歐陽修記載：“亂兵縱火焚門，緣城而入，莊宗擊殺數十百人。亂兵從樓上射帝，帝傷重，踣於絳霄殿廊下，自皇後、諸王左右皆奔走。至午時，帝崩”。時年僅４１歲。
李嗣源遂攻入洛陽，派人從灰燼中找到了李存勖的一些零星屍骨，葬於雍陵。李嗣源自己又當上了皇帝。不過那個忘恩負義的伶人郭從謙雖然事後被暫時追封為景州刺史，可是不久就被李嗣源借口殺死了，可謂死有餘辜。
［相關鏈接］智略深遠的李存勖
李存勖比起他的父親來，謀略更勝一籌。可謂“青出於藍而勝於藍”。李克用的部將因為多年隨他征戰，經常受到賞賜和姑息遷就，致使兵將驕悍，肆意擾民，名聲很壞。李存勖比父親看得遠一些，請求父親嚴肅軍紀，李克用卻置若罔聞，依舊聽之任之。等到李克用病死後不久，李存勖便立即整頓軍隊，他的軍隊紀律嚴明及軍紀嚴苛到後世歎為觀止的地步，因而大大提高了軍隊戰鬥力。再如，幽州的劉仁恭是在李克用全力扶持下才得以占據幽州地區的，後來卻反複無常，忘恩負義，李克用向他征兵時竟不發一兵一卒。等再次遭到勁敵朱溫軍隊圍攻時又厚著臉皮向李克用求援。李克用恨他毫無信用，不肯發兵。李存勖則勸父親：“現在看天下形勢，歸順朱溫的有十分之八九，到現在黃河以北地區能和朱溫對抗的隻有我們和幽州、滄州了，而這兩州朱溫早就想吞並，如果我們不相救，日後就難有機會了。圖大業者不應計較小恩怨，現在他有難，我去解救，他一定會感恩歸順於我，這是我們河東重振雄風的良機，千萬不可錯過。”李克用終於聽從了兒子的話，出兵解了幽州之圍，阻止了朱溫勢力的發展。這是非常英明的。還有一次，李克用與朱溫爭戰居於下風，戰事吃緊，李克用滿臉愁容。李存勖就又分析形勢勸說父親：“夫盛衰有常理，禍福係神道。家世三代，盡忠王室，勢窮力屈，無所愧心。物不極則不反，惡不極則不亡。今朱氏攻逼乘輿，窺伺神器，陷害良善，誣誑神隻。以臣觀之，殆其極矣。大人當遵養時晦，以待其衰，何事輕為沮喪！”李存勖說得句句在理，李克用聽了兒子的話，憂愁盡散，又和大家一起舉杯同樂。