明王朝處於我國封建社會的末期，也是中央集權高度發展的時期，朱元璋作為明朝的開國皇帝，為防止大權旁落、江山易姓，設計了種種方案，采取了各種措施，其中備受矚目的，便是廢除丞相製度。
朱元璋建立明朝後，沿用元朝製度，在中央設立中書省，總理全國政務。洪武年正月，中書省奏請以皇太子為中書令，但朱元璋沒有同意，認為當時太子年幼，學識淺，無經驗，決定今後凡軍國大事隻要告知皇太子即可，中書令一職廢而不設。中書省設置左、右丞相，平章政事，左、右丞相，參知政事等官職，下轄吏、戶、禮、兵、刑、工六部。在地方上，則設立行中書省，統管一省軍政事務。中書省丞相相當於古代的宰相，幫助皇帝處理一切軍政大事，權力很大。丞相權重，勢必會對皇權構成威脅。明太祖的權力欲極重，他即位以後，對皇極和相權相輔而行，又相互製約的狀況很不滿意，內心久已蘊藏廢相、提高皇權之心。他說：“秦代設相，是禍亂起源，宰相權重指鹿為馬。後來各代不以設相為鑒戒，相沿設置，往往帶來禍患，原因就在宰相擅專威福。”為此，他逐步推行他的集權計劃，削弱相權，直至廢相，鏟除了心腹之患，使權力集中在自己手中。他審時度勢，暗中靜觀，在心中醞釀著解決的方案，但由於主客觀方麵的原因，朱元璋廢除丞相的措施並非一步到位。
在廢除丞相之前，朱元璋首先是對丞相之位的人選進行了幾番調整。在明初，淮西勳貴與非淮西大臣之間存在著尖銳的矛盾。淮西勳貴都是早就追隨朱元璋的舊將，朱元璋對他們比較倚重。洪武三年（1370年）大封功臣時，所封六公均為淮西人，二十八侯絕大多數也是淮西人。李善長是淮西勳貴集團的核心人物，他自投奔朱元璋後，一直在朱元璋身邊盡心輔佐，被比擬為漢之蕭何，位列功臣之首。中書省成立後，他與徐達分別被任命為左、右丞相，由於徐達常年領兵在外，平章政事又虛位未設，中書省大權實由李善長獨攬。朱元璋雖倚重淮西集團，可又不希望他們權力過大，以致動搖自己的地位，於是便想到在中書省培植其他地方的人才，這其中就有一個楊憲。楊憲原是山西陽曲人，他博古通今，辦事幹練，很受朱元璋器重，被任為負責監視將帥臣僚的檢校。開國之後，楊憲出任中書省參知政事，洪武二年（1369年）升為右丞，次年又引為左丞，協助李善長工作。楊憲十分妒忌李善長的地位，一心想扳倒他，好取而代之，便向朱元璋吹耳邊風，說他“非相才”。朱元璋內心雖讚同，但因為李善長是淮西勳貴集團的核心人物，要動他，時機尚不成熟。於是便對楊憲不予理睬。這其中還有個小故事，據載，早在洪武二年（1369年），朱元璋就曾召見與李善長矛盾很深的劉基，談話間對李善長作了指責，暗示自己有換相的打算。劉基不計個人恩怨，從大局著眼，指出李善長雖才幹有限，心地狹窄，可他是開國元勳，又能協調諸將，的確是個宰輔之才，換掉他既不合理，也無益處。
朱元璋見劉基如此不論個人恩怨，便有意立他為相。劉基堅決推辭說：“易相之事，就好比更換大廈的梁柱，必得大木方可。如把小木條捆在一起代替，大廈就會傾覆。”朱元璋見劉基態度誠懇，隻得把此事暫且放下。
在楊憲升為左丞相之前，擔任左丞相一職的是汪廣洋。汪廣洋也是楊憲打擊排擠的對象，正所謂“司馬昭之心，路人皆知”，汪廣洋早知道楊憲的惡名，便處處忍讓，時時提防，但楊憲還是不肯放過他。楊憲指使禦史劉炳等人彈劾汪廣洋事母不孝，朱元璋一向提倡孝道，立即將汪廣洋革職，讓他回高郵奉母思過。楊憲還不滿足，讓劉炳再次彈劾汪廣洋，以絕其複出之路，朱元璋命將汪廣洋謫徙海南。劉炳屢次彈劾汪廣洋，朱元璋心下不禁生疑，便突然逮捕了劉炳，遂勾連到楊憲，李善長趁機全麵揭發了楊憲種種不法情狀。洪武三年（1370年）七月，楊憲與劉炳一同被處死。汪廣洋在楊憲事件後，即被召回京城複職，封為忠勤伯。洪武四年（1371年）正月初二，朱元璋撤下李善長，任命汪廣洋為右丞，原參知政事胡惟庸為左丞，總理軍國重事。李善長的下台，消除了朱元璋心中的一大隱憂，也是朱元璋為廢相邁出的第一步。
朱元璋任胡惟庸為左丞的同時，又以汪廣洋為右丞，目的是為了實現相互牽製，因為劉基早有警告，“讓胡惟庸做宰相，就像讓生猛的牛駕轅，恐怕要蹦跳脫轅，把車弄翻。”但汪廣洋是個隻求明哲保身的人，他將權力交給胡惟庸，自己成了一個屍位素餐之人。無奈之下，朱元璋隻好廢汪廣洋，倚重胡惟庸，但正如宋太祖所言：“臥榻之側，豈容他人鼾睡！”權重的胡惟庸遲早會成為專製皇權的犧牲品。
胡惟庸，定遠人，在和州投奔朱元璋，是渡江前的淮西舊人。占領集慶，由元帥府宣使轉寧國縣主簿，升知縣，遷吉安府通判，擢湖廣按察司僉事。這時，他利用同鄉關係，攀結上了李善長，遂於1367年被推薦為太常寺少卿，進太常寺卿。這一時期，是胡惟庸的發展階段。洪武三年（1370年）入中書省任參知政事，為李善長心腹。洪武四年（1371年）正月，李善長罷相，汪廣洋提升右丞相，胡惟庸接替汪廣洋右丞職務，兩人掌管中書省的大權。汪廣洋是一把手，胡惟庸是二把手。這一時期，是胡惟庸的發跡階段。而他的權力鼎盛時期是在三年以後，也就是洪武六年（1373年）。這一年，汪廣洋左遷廣東參政，胡惟庸遞補右丞相，很快升任左丞相，坐上了中書省第二把金交椅。
胡惟庸升任左丞相後，右丞相之位一直空缺。然而國家剛剛成立，事情眾多，頭緒紛亂，而天下的每件事總不能統統由皇帝親自定奪，一些無關緊要的小事，還得由承上啟下的右丞相來操心。朱元璋想在文武百官中選出一個合適的人選來，卻未能如願，於是造成“久置右丞相而不設”的局麵。
正當朱元璋在人事問題上猶豫不決的時候，在權力部門中書省，胡惟庸已把所有的權力牢牢地控製在了自己的手中，其程度到了“水潑不進”的地步。他兩眼死死盯著中書省的第一把交椅。
胡惟庸對權力的覬覦，朱元璋如此聰明之人，再加上身邊眾多的耳目，不會無所察覺。但一方麵胡惟庸是淮西人，與自己有共同的利害關係，另一方麵不可否認，胡惟庸是個人才，不然他不會把中書省治理得連水都潑不進去。很有可能，朱元璋看準的正是這一點，“帝以惟庸為才”，所以“寵任之”。再加上他又是自己的親信李善長的親戚，要動他，還得三思而後行。
胡惟庸終於如願以償地當上了右丞相。在朱元璋時代，胡惟庸在丞相位置上坐了多年，屬時間最長的一個。當劉基得知這一消息後，曾悲戚地說：“使吾言不驗，蒼生福也。”他早就看出胡惟庸不是個福星，但這是當朝皇帝的意思，又能怎樣？
胡惟庸的才幹和效率讓朱元璋省去了不少精力，朱元璋想到的事情，吩咐下去，咄嗟立辦，因而他博得了朱元璋的倚重和寵信。然而胡惟庸是有相才無相氣，又足以壞人大事的那種人。他熱衷權勢，“寧可少活十年，休得一日無權”是他堅守的信條。
後來朱元璋因思念被貶的汪廣洋，又將他調回任右丞相。胡惟庸雖降為左丞相，但名降實不降，依舊大權獨攬，汪廣洋隻是個擺設而已。
胡惟庸任職期間，在相當程度上掌握著生殺黜陟之權。傳聞，當時朝廷上下、生死人命、升降官職等大事，他從不向朱元璋報告，就自作主張。臣下上書的奏折，他自己“必先取閱”，如果不牽連自己，或自己集團的事，就遞給朱元璋；反之，有“害己者”一字一詞的報告，則立刻“輒匿不以聞”，要麼燒毀，要麼私自篡改後再遞給朱元璋，回過頭再對付“害之者”。
胡惟庸權傾朝野，自然引得許多想求官想升官的，落職後想複職的朝野文武，都奔走在他的門下，各種金帛、名馬、古玩的賄賂不計其數。起初，他還假意推辭。後來，他不僅不推辭，不但悉數收下，而且對那些送得少的人提的要求，一概不給予滿足。
為集結勢力，穩固自己在朝廷中的地位，胡惟庸還煞費苦心地用計於這樣兩個人，一個是徐達，一個則是劉基，對前者是極力拉攏，對後者則是“置之死地而後快”。
胡惟庸想結好於徐達，就可以跟朱元璋的關係更進一步，於是便極力拉攏他。不料徐達並不為他的低聲下氣所動，他知胡惟庸其奸，為人不地道，從骨子裏是“薄其人”的，並認為胡惟庸給淮西集團抹了黑，從而恨之入骨。有一次，性直的徐達對朱元璋直言說：“胡惟庸這個人是不能當丞相的。”此話傳到胡惟庸的耳朵裏後，他非常氣憤。但是，對於徐達這樣的人物他卻沒有絲毫辦法，不得不放棄在徐達身上的打算。
劉基是明朝的開國功臣，被朱元璋比作西漢初年的張良，深得朱元璋的尊敬與愛戴。劉基又叫劉伯溫，浙江青田（今浙江省青田縣）人，他從小就非常喜歡讀書，博覽了儒家經典。他尤其喜愛兵書，隻要手裏能有一本兵書，他就可以飯也不吃，覺也不睡了。劉基長大以後，考中了元朝的進士，當了一個地方官。但那時農民起義此起彼伏，天下已經大亂了。劉基看不慣官場中的腐敗現象，就棄官不做，回到了家裏。後來，劉基被朱元璋請去做謀士，從此，劉基就開始輔佐朱元璋打天下。
劉基不但有謀略，而且還精通天文。他能通過觀測天象，預知天氣的陰晴變化。在古時候，人們都非常迷信地認為天象的變化和人間的凶吉有一定的聯係。朱元璋也是這樣的一個人，每逢國家出了什麼大事，他就要去找精通天文的劉基問明原因。
有一年，江南發生了一場旱災，朱元璋便問劉基怎樣才能讓上天降雨。劉基心裏暗想，這幾年朱元璋辦了不少冤案，我何不借此機會進諫呢？如果能勸說朱元璋給忠臣們平反昭雪，豈不是更好嗎？想到這裏，劉基微微地皺了皺眉頭，裝出一副為難的樣子說：“主公，恕我直言。老天不下雨，是因為您的監獄裏關押了許多有冤枉的人。您隻有給他們洗清了冤屈，上天才會降下大雨。”
朱元璋聽信了劉基的話，讓他親自到監獄裏清理冤案。經過劉基細心地一查，果真發現了不少冤案。劉基將這些冤案一件一件地整理出來，上報給朱元璋，朱元璋給他們都免了罪。
果然，沒過幾天，天降大雨，朱元璋對劉基佩服之至。其實，這下雨和冤案本沒有一點聯係，劉基通過觀測天象，知道在幾天之內將會有場大雨，他就借機把冤案和下雨聯係起來，使不少無辜的人得到釋放。
像這樣一個能人，怎會得不到皇帝的器重！因而，在一開始胡惟庸是想與劉基交好的，可是後來劉基向皇帝說了些關於他的不受用的話，他這張臉就有些掛不住了。再加上劉基代表的是沛東集團，胡惟庸不能將徐達怎麼樣，對劉基卻是敢給點兒顏色看看的。恰在這個當口，劉基之子劉璉越過胡惟庸直麵向皇帝彙報事情，使胡惟庸惱羞成怒，決定借題發揮。事情的起因是這樣的，原來在青田縣南70裏處有一個叫淡洋的地方，地勢險要，又與瑞安縣交界，常常是私鹽販子、逃軍、躲避賦役的人們的藏身之所，因而構成地方治安的隱患。洪武三年（1370年），劉基的長子劉璉去京城奏請在這裏設立巡檢司，盤查來往行人。經朱元璋親自批準，第二年正式設立。洪武六年（1373年），這裏發生周黨山所領導的農民暴動。地方官害怕獲罪，隱瞞不報，劉基就派劉璉去京城，由此才引出這段公案。胡惟庸唆使地方官上了一個奏章，說劉基看準了淡洋這個地方有王氣，一心想得到它作為墓地。百姓不願意給，他就請求設立巡檢司，驅逐了百姓。這可一下子捅到了朱元璋的痛處。劉基能掐會算，他既能以種種神妙的術數輔佐我朱元璋，那為什麼不可以為自己的子孫著想。想到此，朱元璋心中一橫，於是下詔降罰，先剝奪了劉基的俸祿。對此，劉基深諳“沉默是金”的道理，他帶領兒子劉璉趕往京師，沒有一句辯白、一句埋怨，隻是向皇帝謝罪，說因為罪臣冒犯，惹皇上生氣，實在是罪該萬死。這樣一來，反倒使朱元璋無從下手了。
但是劉基一日不除，朱元璋便一日不得安寧，而此時的劉基因年事已高，再加上這一事變，已是百病纏身，於是朱元璋便想出這麼一個法子——借刀殺人，即借胡惟庸之手殺了劉基，而胡惟庸也借此稱了心。劉基在京城患重病時，朱元璋委派胡惟庸代表他前去看望，並讓帶個禦醫給劉基看病。看過病後，那個禦醫給劉基開了一副中藥。事前，遵照胡惟庸的指示，他在藥裏下了毒。劉基不知是計，“飲其藥，有物積腹中如拳石”，三個月後，朱元璋特地派人去探問，隻說沒有好轉的希望，他心下一塊石頭才落了地。頒了一道詔書，命他回家安養。劉基於洪武八年（1375年）三月抵家，四月十六日就因慢性藥物中毒死亡，享年65歲。劉基一死，胡惟庸掃清了絆腳石，更加囂張、狂妄，做起事來越發無所顧忌了。他又與李善長是親戚關係，這樣的勢力，除朱元璋之外誰也搬不動。
劉基雖不滿於胡惟庸，但也不敢碰他，而吳伯宗就不同了，縱是虎須也要拈一拈。吳伯宗是明朝的第一個狀元，受賜冠帶袍笏，封為禮部員外郎。他生性耿直，城府也不深，終於觸怒了胡惟庸，被貶至鳳陽。吳伯宗一氣之下，上告朱元璋道：“胡惟庸濫用事，專恣不法，不宜獨任，時間長了，必為固患。”朱元璋對此未置可否，而是繼續暗中觀察胡惟庸，因為隻有等他落下把柄才能連根拔起。
胡惟庸果真是肆無忌憚，又打起了徐達的主意。徐達曾在與皇帝的一次尋常談論中順便提起提防大臣專擅的問題，胡惟庸得知後心想，隻有扳倒這棵大樹才能求安生。因此他買通徐達的看門老仆福壽，讓他提供情報，或幹脆趁機殺掉他。福壽表麵答應，暗中卻向徐達通報了消息。
對胡惟庸專擅，朱元璋早有所警覺，洪武十年（1377年）九月，升胡惟庸為中書左丞相，同時任命禦史大夫汪廣洋為右丞相，以圖牽製。洪武十一年（1378年）二月，他又明確告誡：“胡元之世中書專政，凡事必先關報，然後奏聞，其君又多昏蔽，致民情不通，以至大亂，深可為戒。”因命禮部規定奏章格式，禁止天下奏呈關白（以副本通報）中書省。
同年又發生了錢蘇事件。錢蘇是常熟的一個儒士，因上書天子未先拜宰相，受到胡惟庸的嫉恨。朱元璋讓胡給錢蘇在中書省謀一個職位，胡卻打發他到南京後湖荒僻之地看守檔案。朱元璋從中看出丞相對錢蘇的不滿，錢蘇才高八鬥，看守檔案實在屈才，便欲直接給他安排職位，錢蘇稱瘸，朱元璋便讓他回家養病，並告訴他經過沿途所在州縣時，可以直入大堂，南向而坐，向所在官員傳皇帝的旨意：“皇帝敕爾：善辟田裏，養老恤孤，無忌軍旅，簡在帝心，欽哉勿替。”錢蘇拜謝而出，一路風光地回到到家鄉，出了鬱悶心中幾年的窩囊氣。
然而胡惟庸還在自顧自地越走越遠，一個陰陽先生說他家祖上三世的墳上，皆夜有火光燭天，後人不得了，定是天子。胡惟庸信以為真，繼而產生了以政變手段謀害朱元璋，自己當皇帝的念頭。
他暗中糾集了一批幹將，派人到沿海招倭寇，讓蒙古人封漬當元朝的皇帝，作為外應。此時如果不是發生了一件意外之事，胡惟庸還真會幹出謀反的事來。原來，胡惟庸的兒子是個惡少，這一天他喝得醉醺醺的，在街中打馬飛奔，前麵突然受阻，馬立而起，將這位胡衙內掀了下來。恰巧這時，麵前有輛車駛過，胡衙內就作了輪下之鬼。胡惟庸聞訊，不由分說將車夫打死。消息傳到朱元璋那裏，這使他對胡家專橫跋扈、欺壓百姓有了更深的認識，他於是下定決心，要除掉胡惟庸這個後患。
他把胡惟庸叫到宮中，軟禁起來，並說要殺了他，給那車夫償命。胡惟庸以為單單是為車夫的事，就“請以金帛給那車夫家”，請求朱元璋留他一命。朱元璋不知出於什麼原因，竟答應了，放胡惟庸回家去。
洪武十二年（1379年）九月，又發生了占城國使臣入貢事件。事情的經過是這樣的：占城國使臣陽須文旦向明王朝進貢，中書省未按時奏報，朱元璋知道後大怒：“朕居中國，撫四夷，以禮待之。今占城來貢方物，爾等泛然若罔聞。為宰相輔天子，出納帝命，懷柔四夷，就應當如此嗎？”胡惟庸、汪廣洋及禮部堂官都下了獄。這就是震驚朝野的胡案。
同年十一月，朱元璋借胡惟庸毒死劉基一事給汪廣洋套上一個朋黨包庇之罪，將汪廣洋貶謫海南。汪廣洋離京之後，朱元璋又改變主意，派遣使臣宣布敕旨將他處死。洪武十三年（1380年）正月初二，禦史中丞徐節在獄中被逼揭發胡惟庸謀反。
正月初六處死胡惟庸等人，胡惟庸的罪狀是擅權枉法，他倒是罪有應得，然而胡惟庸的死並不意味著這場鬥爭宣告結束。
徐節，也就是那個禦史中丞為求活命，竟編了個胡惟庸結黨造反的口供。一下子便為朱元璋提供了個擴大打擊麵的借口，於是按名逮捕，輾轉審問，指供誘供，舉朝上下，人人自危。凡是一個人被咬出來，他的家屬、仆從、親屬一概下獄刑訊。徐節，這個始作俑者，也在舉朝齊聲喊打中，被皇上趁勢送進了鬼門關。死於胡案的主要人物有禦史大夫陳寧、中丞徐節、太師韓國公李善長、延安侯唐勝宗、吉安候陸仲亨、平涼侯費聚、南雄侯趙庸、滎陽侯鄭遇春、宜春侯黃彬、河南侯陸聚、宣德侯金朝興、靖寧侯葉昇、申國公鄧鎮、濟寧侯顧敬、臨江侯陳鏞、營陽侯楊通、淮安侯華中；大將毛驤、李伯昇、丁玉和宋濂的孫子宋慎等。宋濂也被牽連，貶死四川茂州。