1909年10月，清政府籌辦慈禧太後梓宮移陵等相關事宜，載灃以端方有這方麵的經驗，遂命端方為移陵大臣，負責此事。雖是閑差，但端方也沒有怠慢，從頭到尾辦得順順利利，也沒有遇到麻煩。但移陵完成後，端方卻從京城得到消息，有人以他在移陵過程中照相為名給他安了“大不敬”罪名。彈劾端方的不是別人，正是洋務派領袖李鴻章的孫子李國傑。
對於李國傑的彈劾，端方顯得非常平靜，在他看來如此小暇不至於會有什麼嚴重的處分，更不可能被革職，就在他被革職的前一天，他還向英國駐華公使朱爾典表示自己不會被革職。然而，事情並非如他所料的那樣，第二天從京師傳來的諭旨將他從一品大員一擼到底，變成庶民，儼然如袁氏第二。
當然，僅憑李國傑的一紙彈劾，問題還恐怕不至於如此嚴重，攝政王載灃與端方之間存在的矛盾亦有莫大關係。端方在做地方督撫之時，做事一直很高調，經常會向領導提意見，載灃做了攝政王之後，端方憑著第一疆臣的地位頻頻向載灃上奏折，為中樞出謀劃策，並奉勸載灃多任用有新思想的人才，並一口氣推薦了十多名人選。端方的過分積極，恰恰在別人眼裏被看作是指手畫腳，越俎代皰，免不了使攝政王心生不快，將端方的奏折留中不發。可是這個端方，卻仍不罷休，幹脆跑到京師當麵向載灃指陳政事，搞得載灃好生尷尬。因此，在載灃接到李國傑的彈劾奏折後，他很以為然，打算殺殺端方的威風，準備給他一個革職留任的處分。
載灃給端方的革職留任處分尚未下發，就被隨之而來彈劾端方的奏折所淹沒，那些曾經反對改革或是與端方有過節的官員仿佛找到報仇雪恨的借口，紛紛活動起來，營造聲勢，掀起一次集體彈劾端方的行動。在短短的幾天裏，包括陸軍部尚書鐵良、禦史胡思敬和江春霖等在內的官員紛紛給載灃上書彈劾端方，尤以鐵良最為積極，他不僅自己上書，還多方聯係，發動反對派聯合圍剿。鐵良之所以如此賣力，是因為他一直唾涎直隸總督的位子，是他一直夢寐以求的肥缺，沒有想到端方的突然殺出打碎了他的美夢，心中不免會生羨慕與妒忌。而善於拍慈禧老佛爺馬屁的端方，卻從來不願意向其他人示好，更沒有察覺鐵良的不快，不僅如此，在端方上任直督後，還不斷上書參奏陸軍部改革不力，步伐太慢，搞得時任陸軍部尚書的鐵良很沒有麵子，從而對端方的不滿與日驟增。於是，鐵良趁著端方身陷照相門之際，大造文章，企圖拉他下馬。
可謂是牆倒眾人推，在眾多反對派的參劾下，本來就不待見端方的攝政王也無意堅持先前的革職留任，而是直接革職。對於載灃而言，不僅給反對派一個順水人情，籠絡他們效忠自己，同時不失為繼罷黜袁世凱之後，另一招殺雞給猴看的把戲，隻不過這次他出的是昏招。鐵良也沒有因端方的革職得以出任直隸總督，不久他也被排擠出京，做了遠離京師的江寧將軍。至此，清王朝的主要幾名得力幹將紛紛被趕出京城，清王朝可謂是屏障盡撤，隻等著風卷殘雲了。
一瞬間從高高在上的朝廷要員變成一介平民，放在誰身上這滋味想必都不好受，端方也不例外，隻得終日會客訪友，欽酒消愁。不過這些都並不是他所最愛的，他最有熱情的還是他一直津津樂道的一項業餘愛好。
在清末官場上，曾任偽滿洲國總理的鄭孝胥有一評語，叫“岑春煊不學無術，袁世凱不學有術，張之洞有學無術，端方有學有術”。端方本來能與袁世凱、張之洞之流放在一起評論，可見端方已不是泛泛之輩，更何況還是惟一的“有學有術”之人，盡管有撥高之嫌，但端方一生酷愛金石書畫，倒確實不是噱頭。他搜集的青銅器、璽印和石刻等都是具有較高價值的文物，他曾經還收藏過毛公鼎，不光是收藏這些玩藝，他還潛心研究，在京賦閑期間與幕僚合作，編寫了《匋齋吉金錄》、《匋齋吉金續錄》、《匋齋藏石記》、《匋齋藏磚記》和《匋齋藏印》五書，是晚清文物與收藏方麵的傑出代表作。
盡管端方試圖用金石字畫來打發寂寞的時光，但樹欲靜而風不止，在晚清王朝風雨飄搖之際，有學有術的端方何能置身事外，不為主子分憂呢？恰如與袁世凱一般，雖被開缺，但他是靜觀天下，待時而動。端方與袁世凱的不同就在於，端方要保大清，而袁則要保自己。隻不過，在台上的隻是幾個白癡的皇族在孤獨唱戲，台下則是四方頻頻的發難，黑雲壓城城欲摧。
一年半後，處於危難之際的清王朝，先於袁世凱之前，讓端方複出，以侍郎銜出任督辦鐵路大臣，前往兩湖地區救火，這一次端方丟掉的不再是官職，而是他兄弟二人的性命。
改良主義者的末路
1911年5月份剛剛建立才一天的皇族內閣，在閣員郵傳部尚書盛宣懷的主使下，頒布幹路國有法令，要把原來交給民間的鐵路收歸國家。清廷在鐵路上麵朝三暮四的政策，激起兩湖、廣東和四川四省人民的強烈反對。主政的攝政王載灃和內閣總理大臣奕劻對幹路國有也表示堅定的支持，同時內閣初成，收回鐵路是第一要務，不能因為有人反對就罷手，豈不使朝廷威信全無！但對老百姓的訴求又不能不有所考慮，無奈之下的載灃想到了二年前被革職的端方，端老四不僅為官經驗豐富，而且在兩湖地區做巡撫多年，對湖北、湖南等地區較為熟悉，派他去必定有所斬獲。1911年5月18日，端方接到清廷給他的複職任命，讓他以侍郎銜出任粵漢川漢督辦鐵路大臣。