明初，官僚機構基本上沿襲了元朝，朱元璋逐漸認識到其中的弊病，於是進行了改革。
首先是廢除行省製。1376年，朱元璋宣布廢除行中書省，設立承宣布政使司、都指揮使司和提刑按察使司，分別擔負行中書省的職責，三者分立又互相牽製，防止了地方權力過重。
在軍事上，朱元璋廢除了管理全國軍事的大都督府，將其分為中、左、前、後、右五軍都督府，並和兵部互相牽製。兵部有權頒發命令，但是不直接統帥軍隊，都督府掌管軍隊的管理和訓練，但是沒有調遣軍隊的權力。這樣，軍權便集於皇帝之手。
在中央機構改革的重點是廢除丞相製。明初中書省負責處理天下政務，地位最高。其長官為左、右丞相，位高權重，丞相極易與皇帝發生矛盾，明朝時以胡惟庸任相後最甚。
胡惟庸是鳳陽定遠人，1373年由右丞相升任左丞相。胡門生故吏遍於朝野，形成一個勢力集團，威脅皇權。1378年，朱元璋對中書省采取行動。一天，胡惟庸的兒子騎馬在大街上橫衝直撞，結果跌落馬下，被一輛過路的馬車壓了，胡惟庸將馬夫抓住，隨即殺死。朱元璋十分生氣。十一月又發生了占城貢使事件。占城貢使到南京進貢，把象、馬趕到皇城門口，被守門的太監發現，報與朱元璋，朱元璋大怒，命令將左丞相胡惟庸和右丞相汪廣洋抓進監獄。但是，兩丞相不願承擔罪責，便推說接待貢使是禮部的職責，於是，朱元璋便把禮部官員也全部關了起來。
兩相入獄，禦史們理解了皇上的意圖，便群起攻擊胡惟庸專權結黨。於是，1380年，朱元璋以擅權枉法的罪名處死了胡惟庸和有關的官員，同時宣布廢除中書省，以後不再設丞相。
朱元璋以專權枉法之罪殺了胡惟庸後，胡案就成為他打擊異己的武器，以致受牽連而被殺者達三萬多人，最後太師韓國公李善長也受牽連，77歲的李善長全家被殺。
接著，朱元璋又於1393年殺掉功臣藍玉。藍玉是明朝開國大將，被朱元璋封為涼國公。1391年，四川建昌發生叛亂，朱元璋命藍玉討伐，臨行前，朱元璋麵授機宜，命藍玉手下將領退下，連說三次，竟無一人動身，然而藍玉一揮手，他們卻立刻沒了身影。這使朱元璋下決心要除掉藍玉。
1392年的一天，早朝快結束時，錦衣衛指揮使參奏藍玉謀反，朱元璋隨即令人將其拿下，並由吏部審訊。當吏部尚書詹徽令藍玉招出同黨時，藍玉大呼：“詹徽就是我的同黨！”話音未落，武士們便把詹徽拿下，審判官們目瞪口呆，不再審了。三天後，朱元璋將藍玉殺死，爾後，就是大規模的清洗和株連。胡、藍兩案，前後共殺四萬人。
對於朱元璋的濫殺，皇太子朱標深表反對，曾進諫說：“陛下誅戮過濫，恐傷和氣。”當時朱元璋沒有說話。第二天，他故意把長滿刺的荊棘放在地上，命太子揀起。朱標怕刺手，沒有立刻去揀，於是朱元璋說：“你怕刺不敢揀，我把這些刺去掉，再交給你，難道不好嗎？現在我殺的都是對國家有危險的人，除去他們，你才能坐穩江山。”然而朱標卻說：“有什麼樣的皇帝，就會有什麼樣的臣民。”朱元璋大怒，拿起椅子就扔向太子，朱標隻好趕緊逃走。