薛懷義開始嫌武則天老了。確實老了，她已經七十歲了。盡管打扮得年輕，但無論如何也掩飾不住老樣子。所以薛懷義對武則天不感興趣了。
自從那次薛懷義被打，武則天對薛懷義並不怎麼熱情。在薛懷義養傷的十幾天，成天什麼人參、燕窩、銀耳湯或粥沒缺過，武則天卻表現得有些冷淡。
每天下了早朝，武則天也打聽他的傷勢，問一聲好些沒有。薛懷義已明顯地感到冷淡。
武則天對李昭德也處罰了，將李昭德貶南賓縣尉。
武則天下朝回來，當即就告訴薛懷義道：“朕已將李昭德處分了，貶為南賓縣尉。”
這處分已不輕，從一個正三品的朝廷大員降為從九品上階的縣尉。
薛懷義聽了不滿意地道：“應該殺了他。最輕也得先打一頓，然後再降級。”
“殺了他？憑什麼？”武則天反問道。
“就憑他打了我，這一條就該殺。”
“一個朝廷大臣，又是個宰相，打了人就該殺嗎？”
“當然該殺，因為他打的是我。”
“那天你挨打，是你不對，你犯了宮中禁律，又出口辱罵大臣，如按律治罪，該殺的是你而不是他。那年，你打了馮思勖，已給我惹了麻煩。今後，你少給我惹麻煩吧。我曾經告訴過你，不要惹那些大臣。你偏不聽，你不替我想想。如果我殺了李昭德，眾大臣會怎麼說？就是貶李昭德，我不是還等了好幾天嗎？”
這一席話說得薛懷義答不出話了。
武則天貶李昭德並不為給薛懷義報仇。如果是報仇，薛懷義挨打第二天就該貶了，為什麼等了好幾天呢？這裏有個原因。
一天，有人帶一塊石頭來進獻。其人自言這石頭從洛水中拾得。武則天素好符瑞，即命人帶獻石者進見。
獻石頭的人跪在大殿上。
武則天問道：“此石有何好處？”
獻石人道：“此石是赤心石。”
“何謂赤心石？”武則天問道。
“請陛下看這裏。”獻石人指點著道。他指處，有一點赤。
武則天也看到了那一點赤，即問道：“眾卿，過來看看。”
幾位重臣走近了看，見石上果有赤點。
李昭德卻道：“此石赤石，洛水中其他石頭難道全是反石、邪石嗎？”
獻石人不能答。
武則天也有些掃興。她本意是想聽到一些對石頭讚頌的話，卻不料李昭德不識趣，說了令人掃興的話。她不好再說什麼，即道：“賞他二十兩銀子，讓他下去吧。”
獻石人雖未得到五品官，一塊石頭換了二十兩銀子太值得了。他滿意了。
此事即令武則天不快。
武則天正是為此才貶了李昭德，幾天後，又命“昭德免死，配流”。
薛懷義病傷隻十餘日就全好了。他在宮中住了幾夜，回到白馬寺，那以後，就不願入宮了。