“既然你不願意做這個丞相，我也不勉強你了。我有幾個人選你幫我參謀一下。”朱元璋心裏明白劉伯溫在擔心什麼，便不再勉強。
“楊憲如何呀？”朱元璋問道。
“臣以為楊憲不行。”劉伯溫很感激皇上能與他共同探討丞相人選。
“為什麼啊？當初可是你把他推薦給我的啊。”朱元璋很是不解。
“楊憲的確具有相才，也很得皇上賞識。但他辦事好勇鬥狠，處理不好與群僚的關係。隻怕日後一旦為相，會使百官人人自危，引起變亂啊。”楊憲是劉伯溫的好友，劉伯溫太了解他了。
“那汪廣洋怎麼樣？”朱元璋繼續問道。
“此人還不如楊憲，他的才氣不能統領群臣，做個中書省參政已足矣。”
“那胡惟庸呢？”
“此人有相才，但氣量不足為相。遇事睚眥必報，一旦為相，必打壓異己。”
“難道他們都不行嗎？”朱元璋憤憤道。
“皇上，臣以為現如今有李相國坐鎮中書省已經足夠了。皇上大可不必為此心煩。”劉伯溫明白，李善長如今已統攬朝政，誰出任另一個丞相也不可能從根本上改變這一現狀。皇上想靠增加一個丞相職位來牽製李善長，隻怕是徒勞無益。
朱元璋也明白這個道理，他早有廢李善長之心，隻是時機還未成熟。李善長位居六公之首，一旦動了他，隻怕那些開國功勳會人人自危。
北伐軍攻克河南後，朱元璋赴汴梁，劉伯溫和李善長留守應天。劉伯溫謂宋元以寬縱失天下，宜肅紀綱。於是朱元璋詔令諸禦史糾劾時不要有任何回避，宿衛宦侍有過者，皆啟稟皇太子置之於法。中書省都事李彬由於貪欲服法，李善長因和他有很好的交情，請劉伯溫拖延處理此案，劉伯溫不徇私情，馬上上報，報可，方祈雨，即斬之。李善長從此與他斷絕了關係。朱元璋回應天後，李善長攻擊劉伯溫在盛夏祈雨時，殺人於祭壇下。其他怨恨劉伯溫的人也相互訴苦誣告。朱元璋留下折子沒有處理。正逢大旱，朱元璋要求大家廣為進言，劉伯溫奏：“士卒死後，其妻悉處別營，凡數萬人，陰氣鬱結；工匠死，暴屍野外；吳將吏降者皆編軍戶，足幹和氣。”朱元璋按劉伯溫的主張辦完這些事，然而十天之後仍未降雨，心中惱火，恰逢劉伯溫喪妻，就批準他告老回家。這時朱元璋方有在鳳陽建造中都的意思，又銳意出塞追殲殘元主力王保保。劉伯溫在回鄉之前進言說：“鳳陽四散之地，非天子宜居；王保保未可輕也。”後來果然又如他所說。
這年冬天，朱元璋念及劉伯溫勞苦功高，親自修書，召他回京，賜賚甚厚，進兼弘文館學士，並追贈其祖、父皆永嘉郡公。洪武三年11月，朱元璋大封有功之臣，授劉伯溫誠意伯。到了第二年，才又允許他回家。
劉伯溫性格剛強，疾惡如仇，不能忍受不平之事。因此他與許多權貴不和。加之洪武初年，他位高不居，功成身退，不願為相，使性本狐疑的朱元璋對之不滿，觸犯了“寰中士大夫不為君用，是自外其教者，誅其身而沒其教，不為之過”的禁條。他屈己藏身，消極逃遁，反為小人提供了一塊禁臠，日後他們憑借自己手中的權勢，不斷加害劉伯溫。
洪武四年（1371年）1月，李善長告老還鄉。一時丞相一職沒有了合適人選。朱元璋現在最欣賞的人選是胡惟庸，可劉伯溫曾說過不可讓胡惟庸掌相權，若為相則必難駕馭。雖然答應了李善長以胡惟庸為相，朱元璋覺得還需先觀察一下再作決定。
思來想去，朱元璋決定把流放在外的汪廣洋召回應天，重新入主中書省，且命他為相。選擇汪廣洋，朱元璋出於兩點考慮：首先，汪廣洋被貶實屬被冤；其次，汪廣洋在中書省雖沒功勞可也沒犯錯，最難得是他很明白自己的心思，即便汪廣洋坐了丞相的位子，也會懂得把實權交給皇上心儀的人。於是朱元璋即命汪廣洋為右丞相，胡惟庸為左丞相。