舍宅為寺的工程也如期進行著，這項工程武後命武敏之即胞姐韓國夫人之子賀蘭敏之親自監建。武後不時地過問工程進展情況，武敏之亦能主動向武後彙報，表麵上似乎很順利，好象不會有什麼事發生，而且武後還延請佛門一些高僧大德為新寺取名為太原寺，隻待新寺落成，即掛匾開光。
就在這被高宗皇帝和武後十分看重的事情上，武敏之卻辜負了他們。對於武敏之被武後安排承襲外公武士彠爵位，在朝中任高官，並被確定為武姓子嗣以來，武後非常關心他，盡管其中有韓國夫人和魏國夫人不愉快的事件，武後總想在這個外甥身上給予補償，可以說武後是把武敏之幾乎作為自己的親骨肉來對待的，時時事事嗬護著他。在確定武敏之親自出馬監建太原寺這件事上，武後也是經過深思熟慮的。她認為朝野內外，再沒有比武敏之更合適的人選了，他既是朝廷命官，又是武姓子嗣，難道再去信任外人嗎？武後在安排武敏之主理這件事之前，也聽說過武敏之的表現情況。朝臣和後宮侍應們都說武敏之不知恩德，恃寵驕縱，屢犯國法等，武後對此總是不敢相信，總以為是針對自己的傳聞，所以就沒有深究。不過，此次要武敏之擔如此大任，一是出於對武氏子嗣的信任，二是多少帶有試探這位武氏後嗣的動機。
武敏之徹底辜負了武後的一番心機。改建太原寺的速度非常緩慢。武後不得不使朝臣去了解實際情況，奉命了解實情的朝臣帶回的情報使武後非常吃驚。武敏之不但對改建太原寺的工程撒手不管，而且還在為外婆楊氏夫人服喪期間，脫掉喪服，身著華麗服飾，招引妓女一塊奏樂玩樂，更為可憎的是他把武後為母親追福用的宮內大瑞錦全部貪汙，供自己吃喝玩樂之用。武後聽到這個消息後，差一點氣昏過去，她對武氏家族這個唯一的子嗣如此放肆感到羞恥，更感到這是對自己一番好心的褻瀆。到這時，她才相信原來聽到的那些傳聞都是事實。她由愛產生了恨，她痛恨這個青年的不爭氣，痛恨胞姐韓國夫人為什麼給自己留下這麼個孽子，痛恨這個青年是有意和自己作對，她咬牙切齒地痛恨這個青年人。
武後下令將武敏之先押起來，另使人去監建太原寺。同時，她又命人去徹底調查這個武敏之究竟還幹了哪些壞事，特別是那些有損自己家族形象的事。調查的結果又一次出乎武後的預料，除上述監建太原寺貪汙和服喪期間嫖娼外，還犯了三項大罪，都是十惡不赦的大罪。
據史載，其一是“敏之既年少色美，烝於榮國夫人，恃寵多愆犯”。“烝”原意為火氣上升，古代一般引申為與母輩通奸，也就是說年輕的武敏之與外祖母榮國夫人通奸。這一條罪狀，武後根本不會想到。武敏之出生時，武後母親楊氏夫人已經64歲了；待到武敏之到18歲弱冠，楊氏夫人已82歲了；到楊氏夫人92歲去世，武敏之才28歲。的確很難想象，一個十七、八歲的世家子弟，和七、八十歲的外祖母通奸，這確實是使武後難以置信的。武後知道母親楊氏夫人早年獨居，年過40才嫁給了父親，她一生篤信佛教，與人為善，當年還把“當使惡無聞於九族，善有布於四方”作為自己的箴言，她絕不會幹出這傷天害理的事來。但對武敏之，武後就不敢有如此十足的信心了，因為她覺得這個花花公子什麼事都能幹得出來。經過反複思考，武後的結論是此事絕不存在，但不能否認武敏之在初蒙之時，楊氏夫人給他傳授過有關男女床第之歡的知識。這大概是朝野捕風捉影認為武敏之與外祖母通奸的依據。