隨著官位的晉升和權勢的顯赫，胡惟庸更加不可一世，他結黨營私，專橫跋扈，排除異己，收受賄賂，並極力拉攏李善長，為此，他將自己的侄女嫁給了李善長的侄子李佑，同李善長結為親家。他還想與徐達結好，但徐達對胡惟庸的為人非常鄙視，不加理睬。他懷恨在心，反過來又報複徐達。他賄賂徐達的門客福壽，欲謀害徐達，福壽向徐達告發了他，徐達不得不小心防範，而且曾坦率地對朱元璋講，這種人不能做丞相。
洪武初年，朱元璋欲選一合格滿意的丞相，冥思苦想，覺得合適的候選人有三個，一是楊憲，二是汪廣洋，三是胡惟庸。一時抉擇不定，於是召見劉基谘詢，君臣之間有一場推心置腹的對話。劉基朱元璋問：“楊憲如何？”劉基回答道：“（楊）憲有相才，無相器。夫宰相者，持心如水，以義理為權衡，而己無與者也，（楊）憲則不然。”朱元璋又問：“汪廣洋如何？”劉基說：“此偏淺殆甚於（楊）憲。”
朱元璋又問：“胡惟庸如何？”劉基說：“譬之駕，懼其僨轅也。”在劉基看來，胡惟庸最為糟糕，好比一匹劣馬，叫它駕車，必然會翻車壞事。但後來，朱元璋並沒有聽信劉基的意見，任胡惟庸為相。胡惟庸任相後，劉基大為悲戚地說：“使吾言不驗，天下蒼生福也。”他痛感朝廷與自己都會遭遇不測。
劉基因在朝廷難以立足，於洪武四年告老回鄉，怕遭致政治災禍，索性隱居山中，不再與聞政治，每天以飲酒下棋為樂，口不言功。他想逃避現實，但政治鬥爭的漩渦仍然把他卷了進去。由於他曾對朱元璋說過胡惟庸不宜入相的話，故深受胡嫉恨，被借故革去歲祿。洪武八年（1375），劉基生病，胡惟庸派醫生前去看望，但劉基服藥後不久便一命歸西。對此，朱元璋後來斷言道：“劉伯溫在這裏，滿朝都是（胡）黨，隻是他一個不從，吃他每（們）蠱了。”蠱，相傳是一種由人工培養而成的毒蟲，這裏泛指一般的下毒。顯然，劉伯溫是遭了胡惟庸的毒手而命歸黃泉的。對於劉基的死，孟森十分感慨地說：劉基的歸隱，實為懼禍，急流勇退。（朱）元璋視其為張良，因而他倆之間知無不言，言無不信。劉基每遇急難，勇氣奮發，計劃立定，人莫能測，（朱）元璋每恭己以聽，呼為老先生。然而急流勇退尚且不免於禍。但是據吳晗考證：“劉基被毒，出於明太祖之陰謀，胡惟庸舊與劉基有恨，不自覺地被明太祖所利用。”如果吳晗的考證正確，那麼劉基的死，就更具有悲劇色彩。朱元璋對親信存有二心，連視為張良的劉基也不放過，卻輕信胡惟庸，聽任他胡作非為，又把責任推得一幹二淨。後來朱元璋終於對胡惟庸下手，其實也是對親信存有二心的邏輯發展。
胡惟庸的專斷獨行，使相權與皇權的衝突明朗化了。胡惟庸之前，李善長小心謹慎，徐達經常帶兵在外，汪廣洋隻知飲酒吟詩，相權與皇權的矛盾不甚明顯。胡惟庸為相期間，大權獨攬，朝廷上有許多生殺黜陟等重大事件，他往往不向朱元璋請示，就擅自加以處理。這自然讓權力欲極強的朱元璋大有宰相專權、皇權旁落的危機。朱元璋曾總結曆史教訓：自從秦朝設立丞相一職以後，輔臣狐假虎威，宰相權重，於是出現了指鹿為馬那樣的事情。自秦以下的曆代帝王，均不曾借鑒秦朝設相的經驗，而是相繼沿襲未改，丞相擅專威福，從而對君王的統治構成了威脅。
對此，朱元璋積極采取裁抑相權的措施。如在洪武十一年（1378），就曾下令，此後臣下奏事毋須通過中書省，而應徑直稟報皇帝本人。然而，胡惟庸擅權的局麵並沒有因此得到徹底的解決。洪武十二年（1379年）九月，占城（東南亞一古國，位於今越南中南部）來貢，胡惟庸和當時的右丞相汪廣洋等人匿而不奏，結果被太監告發。明太祖聞知勃然大怒，嚴詞斥責。但胡惟庸和汪廣洋將責任推到禮部頭上，禮部則反唇相譏，歸咎於中書省。這種相互推諉扯皮，使得朱元璋更為惱火，於是將一幹人等全部囚禁起來，讓他們招出主謀。不久，汪廣洋被處死。接著又下令查究胡惟庸及其六部堂屬的罪行。至此，明太祖與胡惟庸朋黨的矛盾已趨於白熱化。