但是慈禧在接獲李鵬萬所上的條陳以後，批閱中對其所用之詞過於激烈暗生反感。尤其是河南幾位朝官多年與朝廷保持的良好關係是不容李鵬萬指責的。李鵬萬並不了解真情。原來，這些河南官吏在慈禧眼裏都是自己的愛臣，因為慈禧太後每年的壽辰之日，大多是他們不惜財力地進貢。這些頗得慈禧愛護的高官，豈能像李鵬萬條陳中所說的那樣虎狼成性，魚肉民間？如果這種充滿激詞怒語的條陳係普通朝官所上，慈禧太後也許會因此而怒責下去，處以貶官的嚴懲。可是，李鵬萬畢竟是兩年前在紫禁城文華殿內以妙文獲得慈禧欣賞的文官菁英，所以慈禧隻將此奏折退回了軍機處，並沒有給李鵬萬治任何罪名。不過，李鵬萬卻因為這一條陳毀了自身的前程，從此再也沒有受到慈禧的重視，坐上了冷板凳。
此後幾年中，李鵬萬雖然還在京為官，但卻很少得到慈禧的召見。之後同治皇帝駕崩，光緒皇帝登基，李鵬萬始終鬱鬱終日，不得重用。
光緒初年，李鵬萬還希望慈禧再度重用自己，卻發現自家官邸內外到處都有可疑的監視者。他再看慈禧親政以來殺人如麻，許多在鹹豐時代有功朝政的高官，隻因違逆了慈禧的聖意，一個個輕則遭到貶官，重則被綁赴菜市口長街梟首示眾。李鵬萬深知自己繼續在京為官，非但不能對大清朝政和黎民百姓有所貢獻，搞得不好，還要厄運加身。於是他在光緒五年秋天，以生病為名，向慈禧遞上一道懇請回歸鄉梓養老的條陳。慈禧雖然從內心對李鵬萬有些忌恨，但畢竟愛其道德文章，接到他的請辭後，還曾遣人前往他的住處進行挽留，但是對晚清官場早已深惡痛絕的李鵬萬退意已決，哪還有留京之心。於是李鵬萬於光緒六年（1880年）冬天，掛冠而回闊別多年的故裏潮州。就是從這時起，李氏家族離開了生活多年的海陽縣，遷往當時的通衢大鎮潮州定居。這時的李氏家族更加煙火繁盛，憑借祖上餘蔭和李鵬萬做過京城大吏的影響，李氏兄弟在潮州地區仍是功德無量的名門望族。在李鵬萬的膝下有二子，一為長子李起英，二為次子李曉帆。李鵬萬在兩子之中，尤其喜愛次子李曉帆。