徐達是個英勇善戰的大將軍，由於卓著戰功，晉封為中書右丞相。不過，徐達雖名為丞相，但春出冬歸，常年征戰在外，並沒有參與多少朝廷政務，而且他對於朝廷政務也不大有興趣。所以明太祖常常稱讚徐達：“受命而出，成功而旋，不矜不伐，婦女無所愛，財寶無所取，中正無疵，昭明乎日月，大將軍一人而已。”後來，徐達死後，追封中山王，贈三世王爵，明太祖還親製碑文讚頌徐達。
徐達這個在其位不謀其政的丞相，留下了好名聲，而李善長、汪廣洋、胡惟庸三人，在其位又謀其政的丞相，命運就十分悲慘。
李善長是開國元勳之一，學問淵博，富有智謀，明太祖攻克滁州後，李善長就一直在明太祖身邊擔任軍師。明太祖登基以後，李善長被封為左丞相，因為右丞相徐達常年征戰在外，朝廷政務事無巨細全由李善長處理。李善長曆史知識豐富，處事幹練，裁決如流，又善於文辭，明初許多重要條令均出自他手。所以，洪武三年大封功臣時，明太祖對大臣們說：“李善長雖無汗馬功勞，然而跟隨我這麼久，出了不少好主意，這個功勞不是一般軍功可以相比的。”於是便授李善長為“開國輔運推誠守正文臣，特進光祿大夫、左柱國、太師、中書左丞相，封韓國公，歲祿四千石，子孫世襲。”
李善長外表寬和，但處理朝政極為認真。有一次，參議李飲冰、楊希聖稍有點越權辦事，侵犯了丞相的權限，李善長認為這是絕對不允許的事，便向明太祖奏報，要貶黜李飲冰、楊希聖。禦史中丞劉基為此與他爭論法律問題，他爭辯不過，竟出口大罵劉基。劉基見李善長擺出丞相的架子，惹不起他，便向明太祖辭職。明太祖雖然沒有因這件事怪罪李善長，但對李善長如此看重丞相的權限而且有點驕傲的態度，心裏頗有點厭惡。李善長是個聰明人，覺察到明太祖對自己的態度已發生微妙變化，便急流勇退，於洪武四年正月以生病為由，向明太祖辭去左丞相的職務。明太祖亦順水推舟，未加挽留，同意李善長辭職，還賜了臨濠地方若幹頃土地給他。
明太祖開始對李善長不信任時，曾打算提拔楊憲為丞相，便向禦史中丞劉基征求意見。劉基雖與楊憲私人關係很好，卻認為不可。明太祖感到很奇怪，劉基解釋道：“楊憲有當丞相的才能，但沒有當丞相的器量。當丞相，須持心如水，以義理為權衡，個人利益應置之度外才行。楊憲是做不到這一條的。”明太祖又問道：“你看汪廣洋這個人怎麼樣？”劉基答道：“汪廣洋人品和器量都是好的，就是才能上差了一些。”明太祖再問：“那麼，胡惟庸這個人你以為如何？”劉基笑了笑道：“他始終不過是個牛犢，要拉丞相這副犁恐怕是吃不消的！”於是明太祖道：“我看丞相這副架子還是由先生來挑吧！”劉基忙推辭道：“不可，不可！臣自己知道，我這個人容易得罪人，且身體也不好，丞相這樣的職任是擔當不起的。其實天下何患無才，願陛下悉心求之。目前諸人，在臣看來都不大合適。”
明太祖權衡再三，結果挑了才能不強的汪廣洋擔任右丞相。汪廣洋當了兩年丞相，既沒有出過什麼差錯，也沒有什麼政績，更沒有向明太祖提供過什麼新鮮建議。明太祖覺得汪廣洋當丞相沒有建樹，便調任汪廣洋為廣東參政。後來，明太祖總覺得汪廣洋是個忠厚人，四年後又恢複汪廣洋當右丞相。直到洪武十二年貶謫廣南，汪廣洋又當了兩年右丞相。
洪武六年七月，明太祖起用胡惟庸為右丞相。劉基歎道：“假使我的話不驗，這是百姓的福；若是應驗的話，百姓可要遭殃了。”劉基為此病情更加重了。胡惟庸早就忌恨劉基，見劉基病重，佯裝關心，親自帶了醫師來為劉基診治，結果，劉基吃了藥，病情迅速惡化，送回原籍不久，劉基便死了。
胡惟庸是個很會用權的丞相，自從總理中書省後，內外諸司有什麼奏章，必須先經他審看，若有牽涉到自己的奏章，他就藏匿起來不報告給明太祖。於是，文武大臣有失職的人，都先到胡惟庸那裏送禮，這樣就可以得到開脫，胡惟庸身邊迅速集聚起一股勢力，胡惟庸當初被召為太常卿是因為李善長的推薦，所以他同李善長關係密切，而且還與李善長的弟弟太仆寺丞李存義結為親家。所以胡惟庸生殺黜陟，朝廷中無人敢言。
有一次，胡惟庸的家人仗勢欺人，竟然毆打了地方上的小官吏。事情告到明太祖那裏，明太祖大怒，將胡惟庸的家人殺了，還把胡惟庸找來責問。胡惟庸推脫自己並不知道家人毆打地方官的事。明太祖還追問劉基病重後的一些情況，胡惟庸搪塞過去之後，心裏不無擔心：“皇上是不信任自己了，皇上連勳臣都會殺，說不定哪天也會找個由頭殺了自己。與其等死，不如先作準備，不能束手待斃。”
當時吉安侯陸仲亨、平涼侯費聚曾犯法，明太祖斥罵他們。胡惟庸是朝中紅人，二人便到胡惟庸府上來求情。胡惟庸屏去左右後，對他二人說：“你們平時所作所為太不檢點，一旦事發，可就討厭了。”二人非常惶恐。胡惟庸乃同他們商議謀反的事，要他們在外收集軍馬。胡惟庸還同禦史陳寧一起暗中物色拉攏軍隊裏的將領，同時通過親家李存義去探聽李善長的意見。李善長以自己年老為由拒絕加入，但也沒有告發他們的陰謀。胡惟庸還派遣明州衛指揮林賢下海招用倭兵，又遣元朝的舊臣封績修書稱臣於元朝嗣君，請兵為外應。