隨著權勢的增大，胡惟庸日益驕橫跋扈。仗著以淮西勳貴做後台，又憑借皇帝的寵信，胡惟庸在中書省為所欲為。各部門的奏章，胡惟庸必先自己看過再交給皇上，對自己不利的，他就隱藏起來，不上報給皇上。一時胡惟庸權傾朝野，喜歡鑽營的就極力巴結他，看不慣的也是敢怒不敢言。
胡惟庸的膽子越來越大。雖然汪廣洋在他之上，但他明白，他的真正威脅不是汪廣洋，而是那個告老還鄉，但仍留在京城的劉伯溫。此人極得皇上賞識，又聰明過人，一日不除劉伯溫，自己做起事來就一日不安心。
劉伯溫說的沒錯，胡惟庸掌權後不僅難以駕馭，而且氣量狹小、睚眥必報。胡惟庸沒有忘記劉伯溫當年在皇上麵前說自己的壞話。出於多方考慮，胡惟庸決心除掉劉伯溫。於是在劉伯溫生病期間，胡惟庸買通給劉伯溫看病的太醫，偷偷在劉伯溫藥裏下了毒。
這一天，胡惟庸裝作替皇上賜藥，隨同太醫來到劉府。
“劉大人，皇上今天派我來探望劉大人。皇上特賞你奇珍藥物一瓶，盼劉大人早日康複。”胡惟庸一反常態地客氣謙卑。
“謝謝胡大人，我想知道這藥是不是皇上給我的，你可以讓我明明白白地離開人世嗎？”劉伯溫氣喘籲籲地說道。
皇上的心思越來越難以把握，連劉伯溫這樣的老臣也不知這藥是皇上所賜還是胡惟庸的主意。
胡惟庸笑說：“劉大人這又何必呢，你不是料事如神嗎？你就猜猜看。不過皇上說了，一定讓我看著你喝下去他才放心。”
是的，這藥是誰給的已經不重要了。劉伯溫知道這一天遲早會來的，他對於皇上來說已經沒有價值了。如今的皇上運籌帷幄，又何須他劉伯溫在耳旁嘮叨。胡惟庸更是對自己嫉恨交加，如今得勢，除掉自己也在所難免。
“父親，這藥你不能喝啊！”劉伯溫的長子劉璉懇求道。
“璉兒快住口，你要好好保重，記得把我送回青田老家啊。”劉伯溫豈不知這是毒藥，隻是他不能不喝呀。
劉伯溫含淚苦笑著喝下毒藥，覺肚中有個拳頭般的塊狀體，又過了三個月，病情轉壞。朱元璋聽說後遣使護送他返鄉，而且親自寫下意味深長的話：“君子絕交，惡言不出；忠臣去國，不潔其名。”劉伯溫剛到家裏，病情即惡化，一個月之後便去世了。享年六十五歲，諡“文成”。
朱元璋得知劉伯溫的死很傷心，這種傷心是發自內心的悲哀，他知道自己的雙手已經沾滿了鮮血，劉伯溫可以說是死在他朱元璋的手上，他不放縱胡惟庸，胡惟庸何以猖獗至此。可是皇位在，他就必須狠心，是皇權逼他不得不如此，皇上若太過仁慈，必然被臣子左右。悲傷隻不過片刻，很快朱元璋又回到皇上的位置來。他心裏清楚，從長遠來看，劉伯溫作為浙東派的代表也必須鏟除，胡惟庸替他做了他不願公開做的事。
劉伯溫死後不久，胡惟庸案發。朱元璋方想起劉伯溫生前所言，十分後悔。他對劉璟說，你父為我忠心不二，臨終前都還惦記我，如今我才知道他是被奸臣暗算了。我要向天下公布他的好處。又安慰道：“你父親是有分曉的，如今我做皇上的也是有分曉的，終不會負了他的好名聲。”洪武二十三年（1390年），朱元璋頒誥，令劉伯溫子孫世襲誠意伯爵祿。