陳永貴盡管不再擔任副總理了，但中央對他還是照顧的，生活上仍保持著原有的待遇不變，他的住所仍然按副總理待遇繼續留在交道口的那處大院子裏。但陳永貴是個生活上嚴格要求自己的人，他對國務院機關事務管理局的負責人說：“不當副總理了，還住什麼交道口？能上能下嘛！”他多次提出要搬出交道口，撤去警衛。當時國管局領導沒有答應他搬出，但答應把那個院子讓出一半。陳永貴還是不同意，說這樣還有點特殊。國管局又為他在祿米倉找了一處房子，陳永貴看後直搖頭，說這處院子和交道口的差不多一樣大，與他現在的平民身份不相稱。後來，中央決定讓他住複外22號高幹樓，按部長級待遇，陳永貴這才同意。
陳永貴任職期間有兩輛汽車，紅旗轎車為他使用，另一輛為生活用車。解職之後，他退了紅旗轎車，說耗油太多。解職後不長時間，他就辭去了炊事員，自己和老伴動手炒菜做飯，他說自己想吃什麼也方便些。
在任期間，陳永貴一直保持著農民身份。解職後他才開始領上工資，工資標準是每月200元。當時物價已經開始上漲，他家人口多，負擔重，這點錢過日子也是蠻緊張的。在這方麵陳永貴倒是很達觀，他總是要求家裏人，還是本著給多少、領多少、吃多少的方針吧，不要隨便向上伸手。
關於陳永貴在北京城度過的這段平民生活，不少人在文章和書籍中都講到過。中央電視台播音員趙忠祥在他的《歲月隨想》一書中寫道：
“我家離他住處很近，他上街散步，我有事出門，偶然對麵碰上。我太熟悉他了，但他根本沒注意我，他目不斜視地走在柏油路旁的石板人行道上。給我的感覺，他瘦了，而且老了，已不複有當年在大寨時我見到的那種虎虎有生氣的形象了。然而，他還是他。在北京的街頭，他是一位普通的漫步街頭的老鄉，因為，他還穿著對襟的布衣，穿著一雙布鞋。這非常短暫的路遇，給我留下十分深刻的印象。”
作為一個忙忙碌碌大半生的人，陳永貴過著清閑日子反倒不舒服。他向中央要求做一點具體的工作。中央有關領導表示支持，還征求了他的意見，問他是否就在中央當個顧問。他不願意。後來，有關部門就安排他到北京東郊農場當了個顧問。其實這也是一個閑差事，但陳永貴挺滿意，還真的到那裏去上過班，參加過黨組織的生活會。但時間不長，醫生從他的身體內查出了癌細胞。於是，他住進了醫院。
陳永貴住院期間，不少原來的同事、同鄉、朋友都去看過他。這其中就包括原山西省委第一書記陶魯笳。陶回憶說：
“他在北京醫院住院期間，我曾先後兩次去探視過他。每次他總是說：‘我在工作中有嚴重的“左”的錯誤。但有人說，我是“四人幫”的人，大寨是“四人幫”的黑樣板，我是絕對不能接受的。’‘我自己的錯誤向中央作過檢討。小平同誌也對我說過，你有錯誤，但和“四人幫”無關，你不是“四人幫”的人。有了小平同誌的這句話，我死也就可瞑目了！’”
1986年3月25日20時35分，陳永貴病逝於北京。隨後，新華社向外界公布了陳永貴病逝的消息。在那篇消息中，對陳永貴作出了最後的評價：
“陳永貴同誌曾經是全國著名農業勞動模範，多次受到縣、地區和省的獎勵。解放初期，他堅決聽黨的話，帶頭組織互助合作社，為改變山區貧困麵貌，他積極帶領幹部、群眾發揚自力更生、艱苦創業，為促進山西農業生產建設，貢獻了自己畢生的力量。他這種敢於戰天鬥地的精神，曾經受到黨中央和毛澤東主席、周恩來總理的高度讚揚和表彰。陳永貴同誌衷心擁護黨的十一屆三中全會以來的路線、方針和政策，誠懇地總結了過去工作中的經驗教訓。1983年，陳永貴同誌被分配到北京東郊農場任顧問，他愉快地聽從黨中央的安排。幾年來，他注意聯係群眾，關心農場的發展，得到農場幹部、工人的好評。在日常生活中，他始終嚴格要求自己，保持了中國農民固有的勤勞、樸實、節儉的傳統美德。”