《明史》上說，胡惟庸作為一國丞相，很多年來一直受到朱元璋的寵愛，自己獨攬丞相大權，有的時候，發生了一些事情也不向皇帝報告，還隨便提拔人和處罰人，架空了皇上。當時有很多人知道丞相其實才是真正的執行官，而皇上在此時其實就是名譽上的，而且跟丞相說話比較說得上，想見皇上一麵那是多難的事啊，於是人們送給胡惟庸的金銀財寶不計其數。胡惟庸家真的是天天車水馬龍的，家門口的車造成了不知多少次交通堵塞，很多出租車司機談起他們家的門口，都是大驚失色。老朱不是傻子，他也漸漸知道了胡惟庸的專權，而他最恨的就是別人專權，這不是拆我的台嗎？就因為他專權，即使他沒有罪，也要把他殺掉。
可見，胡惟庸的罪就在於擅權僭侈，而這正是朱元璋最忌諱的。
胡惟庸是朱元璋的老鄉，在朱元璋起兵後投奔了朱元璋。胡惟庸從元帥府的奏差、寧國縣的主簿、知縣，逐漸爬到了左丞相的高位。可謂是一路高升，朱元璋對胡惟庸的專權早就有所耳聞，隻是一直懷恨在心，老朱不因為一點小事就治胡惟庸的罪，不值得，他要等胡惟庸把簍子越捅越大的時候，一起在秋後算總賬。
洪武十一年（1378年），朱元璋下令限製中書省的權力，命令以後臣向上奏書，不許“關白”中書省。“關白”是什麼意思？就是凡是送給皇帝的奏章，都要同時送給中書省丞相一份。作為皇帝，朱元璋希望大權獨攬，掌控生殺予奪，決定一切，怎麼能允許這個權力被丞相分割呢？自己吃肉，也不許別人喝湯。至於洪武十三年（1380年）他除掉胡惟庸，廢除丞相製度，不過是洪武十一年不許“關白”中書省的措施的延續。在丞相被撤消以後，六部尚書直接對皇帝負責，六部與皇帝之間，沒有了丞相這一中間管理層，朱元璋就實現了大權獨攬。
明朝是老朱打下的天下，朱元璋要把它傳給子孫，他不僅不願意自己的權力被丞相分割，而且也不允許子孫的權力被丞相分割。因此，他把撤消丞相製度這件事寫到《祖訓》裏頭，規定說你們以後不許犯傻，立丞相就是在給自己找麻煩，立了丞相他就會找機會分你的蛋糕，這是咱們家的蛋糕，怎麼能讓別人隨便吃呢？他吃了你還吃得飽嗎？如果你們誰要立丞相，一定要被嚴厲懲罰！
從這個角度說，胡惟庸又死的不冤。
說它是冤案，是因為在將胡惟庸處死時，他還沒有罪名，後來所指的罪行都沒有實證，所以說他是冤枉的。他死後，才說他謀反，說他勾結蒙古人，說他勾結倭寇，罪名越加越多。這些罪證一件件揭發出來時，已經到了朱元璋的晚年。
說胡惟庸的案子不是冤案，是因為他死於專權，他影響到了皇帝的集權，就該死，所以說皇帝沒有冤枉他。
李善長死得冤枉
但是即使胡惟庸有不冤的成分在裏麵，但是有人是真的冤啊，那就是跟隨朱元璋打下天下的韓國公李善長。當時胡惟庸的案子已經出來了，古代的規定大家也知道，但凡跟罪犯有點瓜葛的人就會被懲處，輕的流放，重的處死。李善長跟胡惟庸也是老鄉，平日裏關係自然不錯，他們又都是淮西派，當然更不是一般的親密了。而且，李善長弟弟的兒子是胡惟庸的侄女婿，他們是親戚。而胡惟庸又是李善長介紹來的，對胡惟庸有知遇之恩，所以應該懲治李善長。朱元璋當時也明白，就說，李善長跟我這麼多年，忠心耿耿，不能處死。但是，令人不解的是，胡惟庸案發十年以後，又有人告發說李善長早就知道胡惟庸要謀反而不揭發，因此他就是“胡黨”。這時候的老朱可能是歲數又長了十歲，變得糊塗了，於是就把李善長抓來殺了，李善長一家七十多口都被處死。李善長從朱元璋一起兵的時候就跟隨他，在他的左右給他出謀劃策，並且在後勤處料理一切繁雜事務，把個軍隊後勤部整頓得井井有條，還一直為老朱供給軍餉。但朱元璋在集權問題上從不手軟，最終還是將李善長處死了，這就是所謂的“胡惟庸案”。
在胡惟庸案中被牽連的李善長死後第二年，虞部郎中（負責山林綠化的官員）王國用就上書為他鳴冤，意思是說李善長的地位已經很高了，即使幫助胡惟庸篡位成功，地位也不會更高，李善長不會為此冒這麼大的風險。李善長這樣有大功的人得到如此下場，將會令天下人寒心。