第六次是在光緒八年（1882年），朝廷任命彭玉麟為兵部尚書。與過去一樣，他接旨後即請辭，朝廷未準。不久，中法戰爭爆發，朝廷命他率領舊部將士並增募新軍，迅速前往廣東部署海防。他認為此時是臨危受命，不宜再辭，便以衰病之軀奉旨赴粵，帶領所部駐紮南海前線，整修虎門要塞，加強沿海防備，遣部將防守欽州、靈山。多次上疏主戰，戰後疏請嚴備戰守，以防後患。中法戰爭勝利結束後，光緒十一年（1885年）三月，他便上疏請辭兵部尚書之職，朝廷未予接受。他又於這年八月、第二年八月、第三年七月、第四年六月接連四次上疏請求辭職。鑒於他的執著，朝廷隻得接受。
“不要命”、“不要官”之外，彭玉麟還有一大美德，即“不要錢”。鹹豐四年（1854年）冬，彭玉麟率湘軍水師配合陸師攻陷了太平軍的要地田家鎮後，清廷獎給他四千兩白銀，他卻轉而用於救濟家鄉。他在給叔父的信中說：“想家鄉多苦百姓、苦親戚，正好將此銀子行些方便，亦一樂也。”還要求他叔父從中拿出一些銀兩在家鄉辦所學堂，期望為家鄉“造就幾個人才”。他要求自己和家人卻甚為嚴苛。當他得知兒子花費兩千串銅錢修葺了家中老屋之後，即去信嚴詞斥責：“何以耗費若斯，深為駭歎。”說他一貫將“起屋買田視作仕宦之惡習，己身誓不為之。不料汝並不來信告示於我，遽興土木；既興土木之後，又不料汝奢靡若此也。外人不知，謂吾反常，不能實踐，則將何顏見人！”其實，他兒子修葺後的老屋也不過是三間土牆瓦屋而已。
彭玉麟自律甚嚴，但對他人十分大方，他自己的錢，常常用於周濟窮困的親友，贈與凱旋的部下，還積極讚助公益事業，現在衡陽城內的船山書院就是他一手捐建的。彭玉麟在去世前將為官幾十年的官俸、養廉、經費等加起來上百萬兩的收入全部捐出來做了軍費。
清代書畫有兩絕：一為鄭板橋的“墨竹”，二為彭玉麟的“梅花”。彭玉麟工書善畫，尤精於畫梅，所畫梅花風骨凜然，虯枝如龍，花似血濺，人譽之為“兵家梅花”，時人多以為神品。其畫梅之愛好來自於他以罕見的癡癡柔情演繹的曠世之“梅姑之戀”：彭玉麟小時候曾經住在安徽安慶的外婆家裏，最喜歡跟外婆的養女梅姑一起玩耍。梅姑雖然隻比彭玉麟大一點點，但是從輩分上講，她是彭玉麟的小姨。兩人青梅竹馬，兩情相悅，私定終身。但兩人的戀情因為八字不合遭到家長的反對。後來彭玉麟跟著全家搬回衡陽去，他和梅姑不得不忍痛分別，而這一別就是十四年，彭玉麟也已娶妻成家。在彭玉麟三十歲的那一年，他聽說舅舅在安慶去世了，外婆和梅姑沒有人贍養，於是他趕緊派了自己的弟弟去安慶，把外婆和梅姑接到衡陽來住。而梅姑來到彭家沒多久，彭玉麟的妻子嫉恨彭玉麟與梅姑的關係，唆使彭玉麟的母親把梅姑嫁出去了。彭玉麟曾經考慮要阻止這件事情，但是因為決斷遲了，錯過了最後挽回的時機。梅姑出嫁四年以後，死於難產。彭玉麟傷心得捶胸頓足，在梅姑墳前立下誓言，要一生畫梅，以萬幅梅花紀念她。彭玉麟後來在詩中寫到“前機多為因循誤，後悔皆以決斷遲”。
彭玉麟說到做到，他畫了整整四十年，才完成了以萬幅梅花紀念梅姑的承諾，而且他喪妻後終生未娶。他畫的梅花：幹如鐵，枝如鋼，花如淚。他辭官隱居期間，一是在湖口的水師昭忠祠旁邊建廳，遍栽梅花，號稱“梅花塢”，即今天石鍾山的著名旅遊景點梅花塢；二是在家鄉築“退省庵”，在庵裏吟詩作畫，畫梅數量達萬幅餘，而且每幅必自題一詩，無一雷同，而句意必有所托。每成一幅，必蓋一章曰“傷心人別有懷抱、一生知己是梅花”。可見彭玉麟對梅姑的愛是那樣的刻骨銘心，也可見他這個人的癡情奇絕、遺世獨立。
光緒十六年（1890年）三月，彭玉麟以平民之身病逝於衡陽城內的退省庵，終年七十五歲。他死後被禦賜為太子太保，建專祠紀念，贈諡號剛直。著有《彭剛直公奏稿》、《彭剛直公詩集》。曾任兩廣總督和湖廣總督的張之洞評之為“加官不拜，久騎湖上之驢；奉詔即行，誓翦海中之鱷”，並為他寫下一首五言長詩：“神州貫長江，其南際漲海。江海幸息浪，砥柱今安在……”彭玉麟的同時代人，曾任翰林院編修的著名學者俞越稱其為“鹹豐、同治以來諸勳臣中始終饜服人心，無賢不肖交口稱之，而無毫發遺憾者的唯一一人”，評價之高，足見彭玉麟名聲之重。時任湖北布政使的陳寶箴在悼念彭玉麟的挽聯中寫道：“不要錢，不要官，不要命，是生平得力語，萬古氣節功名都從此。”