呂好問竭力反對潘氏為後，是基於以下兩方麵原因：“其一潘氏為奸臣之後，此事雖說過去了百年，但奸臣的後人又如何能夠成為大宋的國母？其次是王妃邢秉懿，她可是趙構的結發之妻，倘若現在立後，皇上的抗金信心、抗金意誌，定遭懷疑，到時，誰來投靠皇上，誰替大宋賣命？”
既然潘氏為奸臣之後，其祖上是誰？又為大宋做了些什麼？
潘賢妃的祖上乃是宋太宗、宋真宗時期的太師爺——潘仁美。
潘仁美公元（925——991年）是北宋時期的大奸臣，他公報私仇跟遼帝暗中聯係，致使楊繼業撞死在蘇武廟的李陵碑前，宋朝經這次失敗後，從此一蹶不振，控製長城，成為一個不可期待的美夢，直至北宋滅亡。
金槍老令公楊繼業，原名楊業，領八千火山軍掛帥掃北，掌中一口九環金鋒定宋刀，橫掃雁門，威震北國。這楊繼業每臨陣前必舉紅令字旗為號，軍中習稱為“金刀令公楊無敵”。令公領兵直攻到遼國都城幽州，逼得遼主天慶梁王耶律尚納降稱臣，從此宋遼兩國便以白溝為界南北分疆，暫止兵戈。楊繼業因功授爵火山王，位列開國九王之一。一門妻子官封五侯，賜金水河畔清風無佞府，府門頭造一座八寶重簷滴水天波樓，樓上供奉著當年太祖爺的玉帶和禦批金書鐵券，鐵券記楊門救駕有功，可免楊門子弟九死之罪；又在府前設石碑玉坊，著令滿朝文武百官至此必須下馬通過。從此天波楊府在東京汴梁城名重譽滿。
一個北漢的降將也能享受如此待遇？潘太師心存妒忌，立誓要害死楊業。
楊業死後，潘太師從沒放棄對楊業後人的迫害，成為北宋大奸大惡之輩。
到了真宗時期，潘仁美被斬首示眾，得到了應有下場。
時過境遷，潘仁美的後代大部分逃出了京城，外地謀生，隻有巧雲的祖父仍然在汴京城裏，救死扶傷、治病救人。
宋徽宗初期，巧雲的祖父病逝，父親潘永壽承襲了祖業，潘永壽聰慧好學，其醫術精益求精，擅長治療疑難病症，尤其善治男女之間因接觸而得的怪誕之病。
皇九子趙構成年時，顯肅力排眾議，將大奸臣潘仁美之後潘巧雲納為王妃，成了皇室宗親。在眾多的嬪妃當中隻有巧雲生下了兒子，而在兒子三歲時，卻因叛亂嚇死了旉兒，實乃悲乎也！
作為奸臣的後人能成為皇賢妃，高宗眾多的嬪妃，隻有巧雲生下了皇子，從這方麵來說潘賢妃是幸運的；然而奸臣之後不能立後，三歲的兒子成了朝廷爭權奪利的犧牲品，這也不能不說是潘賢妃的大不幸。所以說潘賢妃就是宋朝廷中幸運和不幸運相結合的複合體。