杨业的死讯传回大宋，愤怒的百姓纷纷将杨业之死归咎于潘美，在评书演义中更是将潘美改为潘仁美，进行了丑化，成为一代权奸，处处与杨家作对，并且勾结辽人，图谋夺取宋朝江山。
其实真正将杨业置于死地的是宋太宗赵光义。
雁门关之战后，杨业成了大宋军民心目中的大英雄，就已经惹得宋太宗心里不快了。但是那个时候，大宋军力鼎盛，宋太宗赵光义有这个自信能降得住杨业，所以只是略施小计，将杨业高高捧起，使得其他将领生出妒忌之心。
雍熙三年（公元986年），当时的辽圣宗耶律隆绪年幼，其母萧太后（萧燕燕）主持国政，又宠爱汉臣韩德让，辽朝上层人心浮动。
宋太宗赵光义得到情报后，认为再次攻取幽州的机会来了，同时还可以一洗前几年高梁河惨败的耻辱，不顾参知政事李至的反对，不顾粮草、军械缺乏、北伐准备不足、开战胜算不多的实际情况，不和宰相商量，即决定对辽用兵，兵分三路，大举北伐。
三月初，宋军开始进攻。西路军出雁门关西口北上，克寰、朔二州后，转破应州，北取云州；中路军克飞狐，分兵一部围灵丘（今属山西），以大部兵力于飞狐北击败辽援军后，直取蔚州。
至四月中旬，西线已攻占山后要地。此时，东路曹彬部亦克固安、涿州。耶律休哥在援军未到之前，避免与宋军争锋；昼出精锐虚张声势，夜遣轻骑袭扰，暗潜部分兵力设伏宋军侧后，断其粮道，疲惫宋军。曹彬10万军占据涿州仅旬余，即迫于粮草不济而退兵。至白沟（今河北新城东南）被太宗传令即止，严令其缘白沟河趋新城，与米信部会合，养精蓄锐，待中、西两路会师，再北进取幽州。
曹彬率军抵新城后，统下诸将听说潘美、田重进等部连战连捷，深耻己军无功，“谋画蜂起，更相矛盾”，东路军将星云集又岂甘人后。
曹彬无法约束诸将，便顺从诸将之意，“乃裹五日粮，再往攻涿州。”
曹彬未及中、西路会师，即又孤军冒进，往攻涿州。时值酷暑，又遭耶律休哥沿途阻击，推进艰难、迟缓，复抵涿州时，士气已疲乏不堪。这时，萧太后已率军进抵涿州东，与耶律休哥形成对宋军钳击之势。
曹彬见势不利，引军冒雨南撤。耶律休哥率精骑驰追。五月初三，于岐沟关大败宋军，曹彬领溃军逃至拒马河，连夜抢涉，慌乱中人马相踏，伤亡甚众。残部退营易水南又被辽军追及，士卒惊遁，被杀数万。
岐沟关一战极其惨烈，十万大军所剩无几，就连主帅曹彬也是在左右亲兵舍命护卫之下，最后才孤身一人杀出重围。
由于东路主力大败，宋太宗合围幽州的战略意图再难实现。辽朝方面开始反扑，耶律斜轸统十万大军赶至安定西，与宋朝雄州知州贺令图相遇，双方大战，宋军又败，被杀一万多人。辽军乘胜攻陷蔚州等地。
此时山西的辽军空前强大，西路军处境极其危险。明智的办法是立即撤退到山西中部的险关固守，以避辽军锋芒，潘美也正是这样做的。
深知西路军已经无望，宋太宗下诏指示潘美，让他与杨业一起引兵护送云、朔、寰、应四州百姓内迁。
这道旨意从政治上来说，绝对政治正确，任谁都不得不认同，但是从军事上来说，完全就是荒谬的了。
现在的战场形势已经十分严峻了，可以说是争分夺秒，一旦被辽军包围，西路军就算是完了。与此相似的是刘备从新野撤退，也是带着老百姓，结果在长坂坡被曹军追上而全军履没。以宋太宗赵光义的文治武功，又岂能不知道，但是他还是下了这道旨意。
可以说岐沟关一战是大宋的一个转折点，精锐丧失一空，五代十国惨痛的教训就在眼前，宋太宗赵光义不得不考虑后续问题了。
宋太宗赵光义之前能容得下杨业，那是有这个自信，但是现在精锐打没了，那么杨业作为北汉降军的代表，妻子又是手握重兵，听调不听宣的折家嫡女，在民间又有如此之高的声望，若是振臂一呼，大宋危矣！
可是杨业并无反意，宋太宗赵光义也不能说我担心杨业会造反，所以提前将他杀了，若是这样一来，手握兵权的将领将会人人自危，国将不国。
宋太宗赵光义军事才能不及宋太祖赵匡胤，但是帝王之术已经如火纯青，立即下了这么旨意，要借辽人之手除去杨业。若是杨业不中计，宋太宗赵光义也有大义名分能治杨业的罪，以堵他人之口。
潘美接到这份旨意也傻眼了，虽然孙子兵法有云：将在外，君命有所不受。但这是以文制武的大宋，你敢有所不受试试看，言官的口水都能把你淹死，况且这份旨意占据了大义名分，充分体现了皇帝爱恤子民的拳拳之心，所以潘美硬着头皮也要执行。
在护送边民内迁到达狼牙村时，辽国萧太后和大臣耶律汉宁、南北皮室以及五押惕隐率领军队十多万人，再次攻陷了寰州。
杨业对潘美等人说:“现在辽兵兵力、士气很旺盛，不能和他们交战。朝廷只是让我们护送这几个州的百姓，只需带领部队从大石路出发，先派人秘密告诉云州、朔州的守将，等到大军离开代州的那天，命令云州的部队先出发。我的部队驻扎在应州，契丹人必然来抵抗，就下令让朔州百姓出城，直接进入石碣谷。派一千弓箭手埋伏在谷口，命骑兵在中路支援，那么三州的百姓，就能够万无一失了。”
杨业的这个建议很好，但是监军王侁反驳他的建议说：“带领好几万精兵却如此畏惧怯懦。只需直奔雁门北川，大张旗鼓的前进。”刘文裕也赞成王侁。