薛懷義以為武曌會像以前一樣給他麵子來湊這熱鬧；於是向眾人們宣布皇上將來光臨，這樣可以向大家顯示他還沒有失寵。他一等再等，直到熱鬧結束，武曌也沒來。眾人們沒見到皇上，也都掃興歸去。
這天，薛懷義見武曌沒有來，心想她肯定在與沈南璆在尋歡，因為這不來，讓自己在眾人麵前很沒麵子；無名怒火湧上心頭，於是決心報複。
當天夜裏，薛懷義向耗費無數錢財修建的天堂放了一把火。天堂裏兩百五十尺高的大佛，遇火燃燒起來，真像萬丈金神，全廟都在一片火海中，火焰衝天。接著萬像神宮也燃燒起來，皇宮前的天津橋上耀眼的如同白晝。救火的人呼天喊地！
武曌聽說寺廟起火了，立即派人滅火，但火勢太猛，人根本無能為力。油漆、血和宮殿燃燒的氣味混合在一起，使得救火的人，觀火的人，聞著那氣味都不能正常呼吸。
次日清晨，巨大的木材和硬木雕飾還在燃燒，有的地方冒著黑煙，有的地方發出破裂聲！武曌看著眼前的一片廢墟，心都涼了．心裏多少明白這把火是誰放的．於是私下召見薛懷義，問道："你似乎對朕很有意見！"
薛懷義不屑地說："作為臣子，怎敢對天子有任何怨言！"
武曌盡量冷靜地說："你張燈結彩慶祝自己打戰凱旋歸來那晚，'天堂'和'萬象神宮'著火，你怎麼看待，你知道是誰幹的嗎？"
薛懷義麵無表情地說："那場大火確實大了點，毀掉了陛下的心血，但臣下並不知道是誰幹的。但我想放火的這人肯定對陛下有所不滿，所以才放火報複！"
武曌看著眼前這個粗人、流氓、騙子，心裏是痛恨之極。但又害怕招惹了薛懷義，他會在天下散布他們在一起的淫穢事情，於是強迫自己友好地說："放火燒廟的人肯定做事謹慎，不會輕易讓人知道他放火的！"
薛懷義說："陛下英明，你不派人調查嗎？"
武曌緊繃著臉說："不用了，我自會派人把燒毀的部分修好就行了！"
薛懷義說："陛下真是心胸寬廣！那晚，別人都來祝賀我凱旋歸來；陛下為何不去？"
武曌睜大眼睛，說："朕必須去嗎？"
薛懷義說："陛下必須去，因為先前我就告訴眾人，陛下會去，而你沒去讓我很沒麵子！"
武曌一驚，神情嚴肅地說："那晚我身體很不舒服，所以沒去。就因為我沒去，'天堂'和'萬象神宮'就著火了！"
薛懷義聽武曌話中有話，好象陛下知道是他放的火，不免心驚膽戰，語無倫次地說："著火不關我的事，無論我有多大膽子也不敢毀掉陛下的東西！"
武曌說："看你的神情很緊張！為什麼？"
薛懷義沉默。
"怎麼不說話？"武曌問。
"我擔心陛下會懷疑是我放火毀了那一切！"薛懷義戰戰兢兢地說。
"我沒有懷疑你，我還要你去督修寺廟，重新建築'萬象神宮'和'天堂'！"武曌說。
薛懷義聽武曌這樣說，心裏總算輕鬆了，說："陛下，臣一定全力以赴把'萬象神宮'和'天堂'修的比先前更加華美！"
武曌說："朕相信你的能力，定能把建築複原！你先退下，我心情有些不好，想一個人安靜一下！"
薛懷義心情愉快地說："是，陛下！臣先退下了！"
武曌看著薛懷義離去的背影，恨他恨的咬牙切齒，但還是表現出她人性中最好的品質--忍耐！武曌必須忍耐，因為她害怕薛懷義把那些猥褻的故事和盤托出，給身為皇帝的她弄出不好的名聲來。盡管她和薛懷義的這次對話，更加堅信了這火是薛懷義放的，而且為何而放！
在一次早朝時，很多大臣上奏陛下明查起火的原因；如果是人為的，一定要把這人捉拿歸案，進行最嚴厲的懲罰，因為這兩座建築可是花費了天下百姓無數血汗錢才建成的！
為了袒護薛懷義，更為不給自己的名聲帶來麻煩。武曌向朝臣們解釋是，因為工人施工疏忽，一堆麻引起了火災，不用多去調查了。朝臣們對此事還是議論紛紛，既然陛下查明原因，大火是麻引起的，也就沒多去追究了！
這時，侍禦周矩上本彈劾薛懷義，奏本這樣寫道：薛懷義擅自招募上千壯漢，藏在白馬寺，假裝剃度為僧，實係陰謀不軌。所以請陛下將方丈薛懷義移交法辦！