海瑞的另外一項重要改革更是激起了整個官僚集團的反感，使一度眾望所歸的海瑞陷於非常孤立的境地，這就是“裁減郵傳冗費”。驛路在中國古代交通運輸史上占有舉足輕重的地位，明代開國之初，朱元璋等人即特別重視驛路的建設，為公差人員的往來提供方便，並製定了較嚴格的規定：“州縣理民事，驛遞管過客。”州縣官吏不準參與驛遞之事。但隨著時間的推移，出於種種原因，這種製度已形同虛設。驛遞經費的拮據促使來往官吏責成地方官提供所需車馬，地方官為交好路過的高官也主動地提供方便，而這種額外的費用都向境內的民戶攤派，自然增加了民戶的負擔。海瑞蒞任後，發現“過客之費，不減貪吏”，就大刀闊斧地進行更張，大幅度地削減來往官吏的招待費用，甚至對細枝末節也進行了明確規定。如將鼓吹旌旗手由原來的八人改為一人，輿夫扛夫由二十四名改為四名。
海瑞的本意在於減輕平民的負擔，緩和社會矛盾，無可厚非，但這種處理方式不免過於簡單，大有“不近人情”之嫌。封建時代官吏升遷轉調相當頻繁，而且一般均攜帶家眷。在交通條件相當艱苦的年代，長距離的輾轉奔波是非常不容易的，正如俗語雲：“在家千日好，出門一時難。”而改善交通環境與設施，則是官府的重要責任，如果朝廷對此忽視不理，必將使這種交通運輸矛盾更加突出，增加奔波中的各級官吏的痛苦，明代驛站的演變正說明了這一點。驛遞製度自洪武年間確立後，一直未作任何更訂，至海瑞生活的年代，已有近二百年的時間。原有的製度顯然已大大過時，日趨腐敗的明朝政府對此視而不見，各級地方官吏必然根據實際情況進行幹預與調整，為來往官吏提供便利，很難一概歸結為阿諛逢迎。海瑞對此缺乏認真的分析，閉口不談朝廷對驛遞製度弊端的責任，卻簡單地以“恢複祖製”為旗號，一味削減官吏驛站待遇，使過往的官吏陷於無人理睬的境地，扛夫與驛馬不足，隻得自己掏錢另外雇請，可謂苦不堪言。有的官吏甚至幹脆繞道而行，離開海瑞的轄區。應天十府的各級官吏怨聲載道，對海瑞的這種更張均持反對態度。“眾怒難犯”，在官官相護的封建官場上更是如此，這使海瑞在遭到彈劾與攻擊時再也沒有人肯站出來替他鳴不平了。
海瑞就任應天巡撫僅僅半年，和應天十府有關聯的朝、野官員便對海瑞群起而攻之。首起發難的是給事中舒化，他以為海瑞做事“不達政體”，應召到南京任清閑之職。另外一個給事中戴鳳翔以海瑞“庇奸民，魚肉縉紳，沽名亂政”，彈劾海瑞。對此，海瑞十分憤慨，他在《被論自陳不職疏》中對戴鳳翔的誣蔑進行逐條反駁。指出：“鳳翔不考其初，據今日論，謂民為虎，鄉官為肉，不知鄉官二十餘年為虎，小民二十餘年為肉，今日鄉官之肉，乃小民原有之肉，先奪之，今還之，原非鄉官之肉，況先奪其十百，今償其一，所償無幾。臣竊恐鳳翔居鄉，亦是此景鄉官也。”反駁詞嚴義正，句句在理。但是，海瑞還是被罷免了應天巡撫之職。雖然當地百姓聽說海瑞將離任，“號泣載道”，但絕大部分官紳們則額手稱慶，相互道喜。
在海瑞將要赴新職之時，首輔高拱又乘機傾軋，裁革其南京糧儲都禦史之職。麵對這樣明目張膽的報複，剛直的海瑞憤憤不平，毅然上疏告病還鄉，心灰意冷地回到瓊山老家。