潘美說：“臣與陛下曾都是周世宗的臣子，勸說陛下殺掉這個孩子，則辜負了周世宗，勸說陛下不殺，陛下必定對我生疑。”
趙匡胤說：“送給你做侄子。周世宗的兒子不可以做你的兒子。”潘美於是帶著這個孩子回家。之後趙匡胤也不問這個孩子的情況，潘美也不說。
這個孩子就是潘惟吉，後來做到了刺史。
潘美本來沒有兄弟，潘惟吉隻稱潘美為父親卻不說祖父。
這個版本出自王鞏的記載，他聲稱聽說自潘惟吉的後裔。
另一個略有不同的版本出自王銍的記載：趙匡胤陳橋兵變後進入皇宮，後宮嬪妃迎接跪拜，宮人還抱著兩個小孩子來參拜，趙匡胤詢問得知這是周世宗的兩個兒子紀王和蘄王。
趙匡胤回頭對部將說：“這還留著幹什麼？”左右就將兩個孩子提走，隻有潘美在趙匡胤身後用手掐著宮殿的柱子，低頭不說話。
趙匡胤說：“你認為不可以這樣嗎？”潘美回答說：“臣怎麼敢認為不可以，但是這在道理上不安心。”
趙匡胤即刻命令將兩人追回，以其中一人賜予潘美，潘美將他收養為兒子，趙匡胤此後也不再過問。
備考：周世宗七子，宜哥與其二皆為漢誅，紀王熙謹964年卒，柴宗訓973年卒，曹王熙讓宋時世居河北省滄州，蘄王熙誨宋臣盧璿收養名盧璿。
故潘美收養的既不是潘惟正（約1005年卒），也非潘惟吉（1010年卒）。
守土盡責:
據《後山談叢》記載：“代北界天池，止荒遠巡候不至。潘美節度河東，新廟舍，作脊記，歲遣府倅祀之。”
後來，遼國“來爭地界”，企圖多占宋朝國土。由於有碑文記載，遼國才沒有得逞。
......
《宋史》：潘美素厚太祖，信任於得位之初，遂受征討之托。劉鋹遣使乞降，觀美所喻，辭義嚴正，得奉辭伐罪之體；則其威名之重，豈待平嶺表、定江南、征太原、鎮北門而後見哉？二人（潘美、曹彬）皆諡武惠，皆與配饗，兩家子孫，皆能樹立，享富貴。而光獻、章懷皆稱賢後，非偶然也。君子謂仁恕清慎，能保功名，守法度，唯彬為宋良將第一，豈無意哉。
“潘美嘛，也是不錯的，不過被黑的也是有些慘了！”
王晨心中暗道，不過這也是一位非常不錯的人才，好好培養還是有希望的。
......
《宋史·卷二百五十八·列傳第十七》
關於潘美故裏《封丘縣誌》載：清順治本《封丘縣誌》上寫著的：“縣東二十裏潘店，世傳宋樞密使潘仁美之裏。”但是康熙本《封丘縣誌》上又說：“考之，宋隻有潘美，無潘仁美也。美字仲詢，大名府人，諡武惠，宋之有傳，與封丘全無幹涉……”