但這個提議首先遭到監軍王□的反對，他認為有數萬精兵在手，不該畏懼遼軍，主張從雁門關北上，從馬邑出軍，正麵與遼軍決一死戰。護軍劉文裕也讚成王□的主張。楊業聽後當即反駁說。“不可，此必敗之勢也”。王□很不高興，不無諷刺地說：“君侯素號無敵，今見敵逗撓不戰，得非有他誌乎？”意思是說你楊業一貫號稱是“楊無敵”，如今大敵當前，你居然推三阻四，拖延著不去殺敵，你是不是有投降契丹的打算哪？話中的語氣已經是譏諷楊業怯懦怕敵。
王□的話深深刺痛了楊業的心。他當即氣憤地說：“我又不是怕死不想戰鬥，隻是這樣死了，事情也解決不了。既然你們責備我畏懼不前，我就隻好冒死前去。”到了這個地步，倘若楊業堅持不肯出戰，便有通敵的嫌疑。而主帥潘美的態度相當微妙，始終不發一言，顯然，他一直不喜歡楊業，甚至還相當嫉妒楊業，所以才擺出一副事不關己、坐觀成敗的姿態。
被迫出軍之時，楊業已經知道自己被置於必敗之地，但還是提出了最後一個請求：即請潘美遣步兵和弓箭手埋伏在陳家峪口（今山西朔縣南，通往忻、代的要道），等他轉戰至此，就從兩側出兵援助，襲擊遼軍，隻有如此，才有可能挽回全軍覆沒的局麵。潘美當時答應了，也確實與王□帶著人馬趕到了陳家峪口。
遼軍主帥耶律色珍得知楊業出兵後，立即派部將蕭撻凜（一作蕭撻覽）設伏兵於中路，自己親自率兵去與楊業交戰，且戰且退。楊業不知有詐，縱兵追擊，結果進入了埋伏圈，蕭撻凜伏兵四起，楊業四麵受敵，孤軍奮戰，盡管宋軍英勇殺敵，終因力量懸殊，慘遭失敗，自朔州南三十裏狼牙村方向敗退。
此時，陳家峪口的潘美一軍一直按兵不動，觀望等待。王□派人登上托邏台（今山西朔縣西南山上）了望，見不到任何動靜，認為遼軍已經敗走，為了追擊遼軍爭功，立即率先領兵離開了陳家峪口。潘美見王□離開，也以“不能製止”為借口，率軍沿著灰河（今山西朔縣恢河）西南後撤。行到二十裏時，潘美得知楊業失利的消息，不但不出兵援救，反而迅速逃跑。
楊業率眾浴血奮戰，且戰且行，從白天一直戰到黃昏，終於在傍晚時分到達了陳家峪口。按照楊業事先的計劃，倘若宋軍事先伏兵在此，以逸待勞，必然能挽回敗局。不料陳家峪口靜悄悄地沒有任何動靜，楊業“望見無人，即拊膺大慟”。這哭聲，飽含了一個忠臣被國家拋棄的最後絕望。
此時，楊業麾下還有一百餘人，他知道遼追兵目標在他，不忍這些人同死，便對他們說：“你們都有父母妻子，與我同死無益，不若逃出去奏告皇帝。”但他平時治軍嚴明，善待士卒，總是與將士同甘共苦，深受擁戴，如今麵臨生死關頭，沒有一人肯離去。這其中就有嶽州刺史賀懷浦，即首謀北伐的雄州知州賀令圖的父親，宋太祖孝惠皇後的兄長。
於是楊業奮力再戰，身被數十創，猶手刃數十敵，終於為流矢所中墜馬，馬亦被射中受重傷，終於被遼將蕭撻凜俘虜。楊業之子楊延玉（戲曲小說中楊七郎楊延嗣的原型）、淄州刺史王貴（當時已經七十三歲）、嶽州刺史賀懷浦全都力戰而死。楊業見於史書的留下的最後一句話是：“上遇我厚，期討賊捍邊以報，而反為奸臣所迫，致王師敗績，何麵目求活耶？”一句“奸臣所迫”，道盡了心中的憤恨與不甘。
曾經戰無不勝的“楊無敵”最終成為階下囚，心情之淒苦悲涼可想而知，最終在被押赴遼國途中，楊業絕食三天而死。耶律色珍砍下了他的腦袋，獻給遼主報功。“天下聞其（楊業）死，皆為之憤歎”。最直接的效應便是：雲、應、寰朔州將吏聞楊業戰死後，無一例外地棄城南逃。因為在他們看來，“楊無敵”一旦死去，宋朝再無強將能抵擋契丹的鐵騎，事實也確實如此。
西流不返日滔滔，隴上猶歌七尺刀。
慟哭應知賈誼意，世人生死兩鴻毛。
——宋·劉敞《楊無敵廟》
從楊業之死中可以看出北宋朝廷對北方降將始終有猜忌之心，而北宋初年的所謂開國名將大多名過其實，才幹、胸襟都不過爾爾，曹彬如此，潘美也是如此。曾有不少人為潘美辯護，認為不救援楊業的責任在監軍王□而不是他。事實上，就在楊業死後不久，關鍵時刻背約不肯伸出援助之手的事再一次發生在潘美身上。
當時遼軍自胡穀入代州城下，聲勢浩大，宋將盧漢讚生性怯懦，主張固守，知州張齊賢則主張出戰。當時潘美大軍剛好駐紮在並州，張齊賢派使者向潘美求救，約定內外夾擊遼軍，潘美當場滿口答應。但使者在回來的路上被遼軍抓獲，張齊賢一直沒有得到消息。潘美隨即又覺得風險太多，再派人去告訴張齊賢，說不打算如約。然而張齊賢聰明絕頂，意識到自己的使者已經被遼軍捕獲後，認為遼軍隻知道潘美要來，卻不知道潘美不來，剛好可以以計退敵。於是，張齊賢連夜發兵二百，到代州西南三十裏處，專門負責晃動旗幟，點燃火把，以裝做是潘美方麵的救兵。又發步卒二千人埋伏在土鐙砦，好掩擊遼軍歸路。布置已定，張齊賢親率廂軍二千人直搗遼營，遼軍見西南火光衝天，旗幟搖動，懷疑是潘美大軍趕到，擔心腹背受敵，當即北撤。剛到土鐙砦，宋軍伏兵四起，遼軍大敗，遼國舅詳穩撻烈哥也在亂軍中被殺。此戰宋軍雖然得勝，但全靠張齊賢指揮若定，若不是他隨機應變，楊業的悲劇說不定要再一次在代州上演。
當然，因為楊業名氣極大，宋太宗趙光義還是特意下詔悼念：
“執幹戈而衛社稷，聞鼓鼙而思將帥，盡力死敵，立節邁倫，不有追崇，曷彰義烈。故雲州觀察使楊業，誠堅金石，氣激風雲，挺隴上之雄才，本山西之茂族。自委戎乘，式資戰功。方提貔虎之師，以效邊陲之用，而群帥敗約，援兵不前，獨以孤軍，陷於沙漠，勁果□厲，有死不回，求之古人，何以加此。是用特舉徽典，以旌遺忠，魂而有靈，知我深意。”
詔書寫得倒是慷慨悲壯。隻是，如此“誠堅金石，氣激風雲”的優秀將領，皇帝真的完全信任過他嗎？從楊業為宋守邊疆的第一天，到兵敗身死，一直為副，從來就沒有擔任過真正的主帥，這隻是偶然的巧合麼？顯然不是。
趙光義還象征性地對間接造成楊業之死的罪魁禍首進行了追究：潘美被削三任，降為檢校太保。但他是功勳重臣，又是皇親國戚（潘美第八女嫁給了宋太宗第三子，也就是後來的宋真宗），所以次年又複舊官；外戚劉文裕配隸登州（今山東蓬萊），但“歲餘，上（趙光義）知業之陷由王□，召文裕還，俄起為右領軍衛大將軍”；楊業之死的主要責任被推給了監軍王□，配隸金州（今陝西安康），後死於召還途中。
最有諷刺意義的是，倒是遼人懂得尊重真正的英雄和對手，在密雲古北口修建楊無敵廟，以祀奠楊業。在楊業死後近一百年時，元祐四年（1089年），蘇轍奉使遼朝，出古北口（今北京懷柔東北），作《過楊無敵廟》詩：