袁天罡在唐代以相術風水稱一代術數大師，生前各種神奇的預測無不準確，在正史新舊唐書中都予以列傳記載，各種野史筆記中記載他的傳奇故事更多，民間更把他視作半人半仙，他既預知自己陽數生死，對身後之事當然也是預作安排。
《唐書》記載，袁天罡最著名的相術傳奇事跡，是為女皇武則天看相。當武則天還在幼年繈褓中時，袁天罡一見到武則天的母親楊氏便吃驚地說：“夫人法生貴子！”武則天的母親便把兩個兒子武元慶、武元爽領出讓袁天罡相麵，可是袁天罡一看說可以官至三品，隻不過是能保家的主兒，還不算大貴。楊氏又喚出武則天的姐姐（後封韓國夫人）讓袁天罡相，袁天罡稱“此女貴而不利夫！”最後由保姆抱出穿著男孩衣裳打扮的武則天，袁天罡一見繈褓中的武則天大為震驚，說她“龍瞳鳳頸，極貴驗也！”但又遺憾地說：“可惜是女，若是郎君，當為天下主！”曆史進程已被他提前言中。
另有野史記載初，太宗之世有《秘記》雲：”唐三世之後，則女主武王代有天下。”太宗嚐密召天罡、淳風以訪其事，天罡曰：”臣據象推算，其兆已成。然其人已生，在陛下宮內，從今不逾三十年，當有天下，誅殺唐氏子孫殲盡。”帝曰：”疑似者盡殺之，如何？”天罡曰：”天之所命，必無禳避之理。王者不死，多恐枉及無辜。且據上象，今已成，複在宮內，已是陛下眷屬。更三十年，又當衰老，老則仁慈，雖受終易姓，其於陛下子孫，或不甚損。今若殺之，即當複生，少壯嚴毒，殺之立仇。若如此，即殺戮陛下子孫，必無遺類。”太宗善其言而止。
話中的意思，袁天罡早已經看出了武則天有稱帝的趨向，唐太宗李世民找到袁天罡、李淳風兩人前來商議。那時的武則天早已失寵，被留在宮中作為才人，武家有女初長成，一朝選在君王側。這“才人”是個什麼稱號呢？古代普通男子有妻有妾，皇宮裏呢，當然也有高下貴賤之分。皇帝的嫡妻，也就是大老婆，叫皇後。在皇後之下，皇帝的小老婆們也就是妃嬪，也是分等級的，並且每個等級都有固定的員額。第一等叫妃，有四人，為一品；妃之下是二品的嬪，共九人；嬪之下，第三等是婕妤，九人；婕妤之下是四品的美人，也是九人；再往下就是第五品的才人，還是九個人。
這也就是“武才人”的由來，相傳唐太宗李世民召集所有後宮佳麗，讓他到宮裏指認一下這傳言中的武王。袁天罡說，陛下後宮的女人太多了，臣怕老眼昏花看不準。唐太宗說，這還不容易嗎？馬上就把宮人一百人編成一隊，先讓袁天罡看這個人在哪一隊中。袁天罡就指了一隊。太宗說，這目標也太多啦，再細化一下！於是，又把這一百人分成兩組，各五十人，袁天罡又指出了一組。武則天就在這一組裏。唐太宗覺得五十人也還是太多了，讓袁天罡再明確一些，袁天罡卻說天機不可泄露，讓唐太宗自己猜。唐太宗說這怎麼猜呀！再說，也用不著那麼費事，幹脆，把這五十人都殺掉算了。可是袁天罡說這可不大好，有一句話叫王者不死。上天既然派這麼一個人下來，就會保護她，您恐怕輕易殺她不得，而且會殃及眾多無辜，上天會怪罪的。退一步說，就算您把她殺了，上天的意思如果沒有改變的話，他還會再派一個人來。這個人我剛剛說是陛下的眷屬，已經在陛下的宮裏了，現在是個成年人了，三十年之後就是老年人了。老年人心地比較仁慈，可能對陛下的子孫會留有餘地。如果您現在把她殺了，上天又生出一個新的人來，那這個人三十年之後可是年輕人啊，年輕人心狠，殺起陛下的子孫恐怕就毫不留情了，所以您還是別殺了吧。正是這一說法，最後唐太宗沒有動手，但是他由此存了一份防範之心。