在李善長回鄉的第二年，無官可守的清冷歲月讓曾經執迷於權力的他寂寞難耐。他也許會站在淮水岸邊，遙望著南京的方向，發出一聲長長的歎息。
對於一個男人來說，權力真是一個好東西，它帶來的不僅僅是財富與顯赫，更重要的是來自精神層麵的強大。不甘就此謝幕的李善長連著向朱元璋發了幾道奏疏，彙報說自己的病早就好了，希望皇帝能夠給自己一個繼續為帝國效忠的機會，發揮一個老幹部的餘熱。
朱元璋看著奏疏苦笑連連。這個老夥計想要重新回歸權力中樞的想法顯然是過於天真。朱元璋擔心他再次進京，就在鳳陽當地給他安排了一個活兒幹，委托他在鳳陽主修宮殿，接著又將江南十四萬戶富裕人家遷到鳳陽，在家鄉再造一座皇城。朱元璋這麼做的目的隻有一個，就是將李善長像釘子一樣釘在中央權力核心之外，讓他死了重返權力巔峰的那顆心。
洪武九年（1376年），朱元璋將女兒臨安公主嫁給李善長的長子李琪，並封李琪為駙馬都尉。在準備操辦喜事時，他通知李善長可以進京主持兒子的婚禮。
當年的丞相，如今又成為皇帝的親家翁，此等榮耀絕非一般臣子能夠享有的。李善長進京以後，雖然被洪武皇帝委任了一些職務，但是想要東山再起卻是枉然。權力帶來的榮耀已如明日黃花，李善長知道，自己已經沒有可能再次染指帝國權杖上那顆最耀眼的寶石了。
就在李善長逐漸遠離權力核心地帶之際，一位後輩同鄉拎著禮物找上門來。來者名叫胡惟庸，也是安徽定遠人。他提著二百兩黃金就敲開了李善長的家門，這個說話辦事透著精明的老鄉，成了李善長正要物色的接班人。
沒過多長時間，胡惟庸就榮升太常少卿，平步青雲。接著，胡惟庸又將自己的女兒嫁給了李善長的弟弟李存義的二兒子李佑。就這樣，李、胡兩家的來往更加密切了。
隨著李善長與中央權力核心漸行漸遠，朱元璋也開始著手為李善長的離去尋找新的接班人。作為淮人首領的李善長雖然離開了帝國的權力中樞，但是他並不甘心就此完全放手。胡惟庸的出現，讓李善長找到了淮西集團新的代言人，也是自己的權力接班人。
當李善長了解到朱元璋非常看好胡惟庸時，李善長知道，眼前這個人是自己的最佳接班人。於是，李善長向朱元璋上書保舉，一來迎合聖意，二來也能將淮人心腹繼續安插在權力機關的核心層，可謂是一舉兩得。
胡惟庸之所以為朱元璋所賞識，並不完全是李善長的功勞。朱元璋在用人上從來是不肯假手與人的，何況像宰相這樣重要的位置。
李善長作為淮西集團的一把手，經過多年苦心經營，這個羽翼豐滿的權力集團對急於抓權的朱元璋來說如芒在背。胡惟庸原本隻是朱元璋帳下的一個文書，朱元璋正是看中了胡惟庸並無黨羽且又是淮西人這一點，才決定將其放在重要位置以製約李善長。
讓朱元璋萬萬沒有想到的是，胡惟庸居然不能體會自己的良苦用心，反而加緊和李善長拉近關係，這讓朱元璋不得不有所忌憚。若說李善長是淮西集團的首領，那麼胡惟庸就是這個權力集團的二把手。李善長本人雖然離開了宰相位置，但是他在朝堂上的影響力並沒有絲毫減退，各個部門的頭頭腦腦大多是他的老部下。他們要想在權力場上有更大的發展，就必須和李善長搞好關係。
胡惟庸本身就是淮人，他又一門心思結交李善長，自然成為淮西集團新的代言人。相比之下，汪廣洋這個非淮西集團出身的右丞相實在不好開展工作，也難怪他隻能“無所建白”了。胡惟庸和楊憲一樣，一門心思要登上帝國的權力巔峰，成為中書省的第一人。
楊憲被除掉以後，胡惟庸前麵的絆腳石就隻剩下汪廣洋一個人了，他又豈能輕易放過這唾手可得的機遇？楊憲死後，李善長在老家養病，從流放路上召回的汪廣洋就成了中書省的實際負責人。
洪武四年（1371年）正月，李善長告老還鄉，汪廣洋升為中書右丞相，胡惟庸繼續作為他的屬官留任。然而汪廣洋的運氣實在太差，在此之前輔佐他的楊憲一門心思要將他趕出中書省，而這一次輔佐他的胡惟庸根本就沒有拿他當回事。
中書省的好多事情，胡惟庸自己就可以拍板做決定，根本就不用告知他這個名義上的中書左丞和後來的右丞相。經曆了上次罷職流放的折騰，汪廣洋抱定一個原則：沒有原則就是最大的原則，對中書省的事務概不過問。
汪廣洋越是縮頭不爭，胡惟庸就越是步步緊逼。洪武四年，劉基和李善長一前一後告老還鄉，一對冤家就這樣雙雙離開了朝廷。在中書省昏暗的燈光下，就剩下了汪廣洋和胡惟庸朝夕相對。朱元璋實在忍受不了汪廣洋的碌碌無為，讓他壓製楊憲，他反而被趕出京師；讓他主持政務，他又拱手將權力讓給胡惟庸。
洪武六年（1373年）正月，朱元璋以“無所建白”的理由罷免了汪廣洋右丞相的職務，並將其打發去了遙遠的廣東行省當參政。轉而讓胡惟庸以中書左丞的職務把中書省的工作全都名正言順地接了過去。
汪廣洋以為真正離開權力中心，就可以落得逍遙自在。但是朱元璋並不這麼想，沒過多久又將其召回京城，讓他做了左禦史大夫。讓汪廣洋這樣性情懦弱之人當監察部門的負責人，對於急於攬權的胡惟庸來說是再好不過的事。汪廣洋在左禦史大夫任上和他以前在中書省時一樣，一無建樹，絲毫沒有影響到胡惟庸的相權。
且說汪廣洋被派往廣東後沒過多久，胡惟庸與李善長的關係又遞進了一步。在兩人的包辦之下，胡惟庸的侄女與李善長的侄子結為了夫妻。如此一來，胡、李二人就變成了間接的兒女親家。有了這層親戚關係，胡惟庸儼然已成為李善長在朝堂上的代言人，支使起李善長的舊部也是得心應手。
大概也是因為這層姻親關係，胡惟庸和朱元璋的關係也更加密切了。這一年的七月，胡惟庸升為中書右丞相，實至名歸地主持中書省的政務。此時的中書省，自從李善長退休以後，左丞相的位置一直空缺著。徐達雖然一直兼著右丞相的頭銜，但是他為人謹慎，加上常年帶兵在外，政務方麵也是隻占位置不問事。如此一來，右丞相胡惟庸就變成了真正的獨相。一人之下，萬人之上。