呂嬃常因從前陳平為高帝出謀劃策捉拿樊噲，多次進讒言說：“陳平當丞相不理政務，每天飲美酒，玩弄婦女。”陳平聽到後，飲酒作樂日益加劇。呂太後聞知此事，暗自高興。她當著呂嬃的麵對陳平說：“俗語說‘小孩和婦女的話不可信’，就看你對我怎麼樣了。不要怕呂嬃說你的壞話。”
呂太後立呂氏宗族的人為王，陳平假裝順從這件事。等到呂太後去世，陳平跟太尉周勃合謀，終於誅滅了呂氏宗族，擁立孝文皇帝即位，此事陳平是主要策劃者。審食其被免去左丞相一職。
孝文帝即位後，認為太尉周勃親自率兵誅滅呂氏宗族，功勞多；陳平想把右丞相的尊位讓給周勃，於是托病引退。孝文帝剛剛即位，覺得陳平病得奇怪，就去探問他。陳平說：“高祖時期，周勃的功勞不如我陳平。到誅滅呂氏宗族時，我的功勞也就不如周勃了。我願把右丞相的職位讓給周勃。”於是孝文帝就任命絳侯周勃為右丞相，位次名列第一；陳平調職為左丞相，位次名列第二。賞賜陳平黃金千金，加封食邑三千戶。
過了一段時間，孝文皇帝已經漸漸明了熟悉國家大事，在一次接受群臣朝見時問右丞相周勃說：“全國一年中判決的案件有多少？”周勃謝罪說：“不知道。”孝文皇帝又問：“全國一年中錢糧的開支收入有多少？”周勃又謝罪說不知道，急得汗流浹背，慚愧自己不能回答。於是皇上又問左丞相陳平。陳平說：“有主管的人。”皇上說：“主管的人又是誰？”陳平說：“陛下若問判決案件的情況，可詢問廷尉；問錢糧收支的情況，可詢問治粟內史。”皇上說：“如果各自有主管的人，那麼您所主管的是些什麼事呢？”陳平謝罪說：“為臣誠惶誠恐！陛下不知我才智低劣，使我勉強擔任宰相的職位。宰相一職，對上輔佐天子調理陰陽，順應四時，對下養育萬物適時生長，對外鎮撫四夷和諸侯，對內愛護團結百姓，使公卿大夫各自能夠勝任他們的職責。”孝文帝於是稱讚他回答得好。右丞相周勃大為慚愧，退朝後埋怨陳平說：“您怎麼不在平時教我對答這些話！”陳平笑著說：“您身居相位，不知道丞相的職責嗎？陛下如若問起長安城中盜賊的數目，您也要勉強湊數來對答嗎？”這時絳侯周勃自知自己的才能比陳平差遠了。過了一會時間絳侯周勃托病請求免去右丞相的職務，陳平獨自擔任整個丞相的職務。
孝文帝二年（前178），丞相陳平去世，諡號為獻侯。他的兒子恭侯陳買接替侯位。陳買為侯二年去世，他的兒子簡侯陳恢接替侯位。陳恢為侯二十三年去世，他的兒子陳何接替侯位。陳何為侯二十三年時，犯了搶占他人妻子的罪，處以死刑，封國被廢除。
當初陳平曾經說過：“我經常使用詭秘的計謀，這是道家所禁忌的。我的後代如果被廢黜，也就止住了，終歸不能再興起，因為我暗中積下了很多禍因。”此後陳平的曾孫陳掌靠著是衛家親戚的關係，希望能夠接續陳家原來的封號，但終究未能實現。
太史公說：陳丞相陳平年輕的時候，原本喜歡黃帝、老子的學說。當他在砧板上分割祭肉的時候，他的誌向本來已經很遠大了。他彷徨於楚魏之間，最終歸附高帝。他常常想出妙計，解救紛繁的危難，消除國家的禍患。到了呂後執政時期，諸事多有變故，但陳平意能自免於禍，安定漢室，保持榮耀的名望終身，被稱為賢相，難道不是善始善終嗎！假若沒有才智和謀略，誰能做到這一步呢？