較普遍的記載是“巨鹿曲城人”，後來遷居到相州內黃。據學者考證，巨鹿曲城即今河北省晉縣，相州內黃即今河南省內黃縣。由此可得出結論，魏征的祖籍為河北晉縣，這個地方在河北省中部偏西，滹沱河流域，德石鐵路經過境內。漢置下曲陽縣，隋改鼓城縣，明入晉州，1913年改晉縣。
關於魏征的先世，在《魏書》和《北齊書》中都沒有關於他先世事跡的記載，隻有唐代李延壽所撰的《北史》卷中有他父親魏長賢的傳，該傳稱魏長賢是北魏著名史學家魏收的族叔。如果這一說法可靠的話，那麼魏收的先世也就等於是魏征的先世了。據魏收的自序中可知：他們的有史可考的祖宗可追溯到漢代的高良侯魏無知，魏無知的兒子叫魏恢，魏恢的兒子魏彥，當過本郡的太守，魏彥的兒子魏悅，曾當過濟陰太守，以善政著稱。魏悅之子魏子建，曾任太尉從事中郎、東蓋州刺史，並在平定甘肅天水、秦安一帶的武都、成縣一帶的氐帥韓祖香的戰事中，善用安撫和鎮壓並重的政策，“前後斬獲甚眾，威名赫然”，果北魏孝明帝龍顏大悅，“詔子建兼尚書行台，刺史如故，於是威振蜀土，其梁、巴、二益、兩秦之事，皆所節度。”後來，返回洛陽，累遷衛尉卿，初右光祿大夫，後曆左光祿大夫，加散騎常侍、驃騎大將軍。史稱魏子建“出為藩牧，董司山南，居脂膏之中，遇天下多事，正身潔己，不以財利經懷。及歸京師，家人衣食，常不周贍，清素之跡，著於終始，性存重慎，不雜交遊”，於永熙二年（533年）春去世，終年60歲。
魏收即是魏子建的大兒子，而魏征的父親魏長賢，與魏子建是族兄弟的關係。長賢的祖父為魏釗，本名顯義，字弘理，釗為魏世祖所賜。史稱他“雅性俊辨，博涉群書，有當世才，兼資文武，知名梁、楚、淮、泗間。”魏世祖準備征伐江南，聞魏釗之名而特別召見，交談一番後非常高興，大為賞識，對魏釗說：“我這次南伐，正是你建功立業之日，希望你好好跟我幹，不愁不富貴。”任命他為貼身隨從，不離左右。南伐軍打到淮南地區，一度南進受阻，許多城池始終攻克不下，魏釗及時進計道：“陛下百萬之軍，風行電掃，攻城略地，所向無前，雖有智者，莫能為計。然而師次淮南，已經累日，義陽諸城，猶敢拒守，此非不懼亡滅，自謂必可保全也。但陛下卒徒果銳，殺掠尚多，人皆畏威，未甚懷惠，恐一旦降下，妻子不全，所以遲疑，未肯先發。臣請間入城內，見其豪右，宣達聖心，示以誠信，必當大小相率，麵縛請罪。陛下拔其英楚，因而任之，此外諸城，可不勞兵而自定。”魏世祖非常讚同這種做法。魏釗於是當夜潛入城中，大搞“統戰”宣傳工作，結果收效甚著，城中大小欣悅，第二天早晨就開城門投降了北魏。此後往南許多城，紛紛歸降。魏世祖對魏釗說：“卿之一言，逾於十萬之師。”為表彰魏釗的功勞，授予他義陽太守、陵江將軍的職務，不久又升為建忠將軍。正當皇帝對他格外看好並準備進一步重用時，魏釗得了風疾，雖然有禦醫的竭力搶救，但仍死在征途之中，終年64歲。
魏征的祖父叫魏彥，字惠卿，也很博學，善寫文章。年輕的時候，趙郡王和廣陵王都邀請他去當幕府的秘書長，他都謝絕了。497年，氐帥楊靈珍造反叛魏，河南尹李崇被孝文帝任命為都督隴右諸軍事，率兵數萬前往鎮壓。李崇邀請魏彥為鎮西參軍事。魏彥從前線回來之後，請求當著作郎，希望能夠撰寫一部《晉書》，以樹不朽之業。可是，魏彥不久又被彭城王邀請為秘書，兼知主客郎中，再次進入政界，他的從文之理想終究沒有實現。彭城王被殺後，他也退歸家鄉。北魏孝明帝初年，拜驃騎長史，不久又轉為光州刺史，68歲時去世。