隆慶三年(1569)，海瑞升任右僉都禦史，以欽差大臣的名義總管糧道，巡撫最富庶的應天府。
海瑞上任後，發現這個魚米之鄉已被貪官汙吏糟蹋得千瘡百孔。這一年，大雨成災，蘇鬆常杭嘉湖六府沿太湖的田地幾乎被淹得一幹二淨，很多房屋被雨水衝塌。海瑞於是決定先從治水救災入手。經與蘇州推官和上海知縣商議，海瑞草擬了治水奏疏，上報朝廷；同時行文十府，裁減供應，並要蘇州、鬆江兩府，在聖旨到達之日，即興工開河。奏疏很快得到朝廷的批準，疏浚工程迅速開工。期間，海瑞多次親赴工程現場，獎勵開河有功人員，懲處貪汙腐敗者。不到兩月，蘇州河基本疏通。積水傾瀉而去，被淹的田地顯露出來，農民們補種了蔬菜和雜糧。之後，又疏通白峁河。兩項工程相繼告竣後，基本消除了三吳地區的水患。
治理了水患之後，海瑞又開始著手實施逼鄉官退田的計劃。他的矛頭第一個就指向了原朝中元老徐階。徐階辭官後，回到了老家鬆江府，恰在海瑞的管轄範圍之內。徐階在朝時正直清廉，可其子孫卻在敗壞他的名聲。其弟徐陟以及其二子和三子均為霸一方，侵田占地。百姓的狀紙，早已堆積如山。原任官員因礙著徐階的聲望不敢處理，將狀子通通壓了下來。
徐階像開始，海瑞也是左右為難：徐階對他有知遇之恩和救命之恩，而徐家人為非作歹，自己又不能不管不問。思索良久，海瑞決定以國為重。他來到徐階家，告之以實情，並向徐階提出了三個要求：第一，把40年來徐家子孫侵占的40萬畝土地退還給原主；第二，把欺壓良民的徐階眾子侄和家人自行捆綁送到官府，請求從寬發落；第三，告家中諸人，今後不準侵奪良田、欺壓百姓。徐階長年在京城，對家中之事並不知曉。聽完海瑞的敘述，他立即吩咐眾子侄和總管，將侵占的良田悉數退回原主。隨後，又親自將犯罪的家人送到官府，任海瑞依律製裁。
海瑞勸徐階退田40萬畝，將其子弟問罪的消息傳出後，應天十府的一些鄉官也紛紛主動退還了吞沒的農民田產。海瑞在應天十府名聲大振，窮苦農民奔走相告：咱們這裏來了個“海青天”！
不到半年，穆宗又改任海瑞為督應天糧儲。當時，適逢徐階的老對手高拱被穆宗召回朝廷主掌吏部。高拱對過去海瑞支持徐階反對自己之事一直耿耿於懷：那是隆慶元年(1567)的事，大學士徐階被高拱彈劾。海瑞即上書彈劾高拱，大學士張居正亦聯合宦官馮保上書彈劾高拱。最後，高拱隻好乞假回鄉養病。
這次複出，他首先就想到了如何報複海瑞上疏之仇。他將海瑞的糧儲職務合並到應天由他人兼管，待海瑞赴應天上任時，已無任可上。海瑞隻好稱病辭官，返歸故裏。
此時，內閣的首輔是張居正。朝中海瑞的同鄉梁雲龍要回鄉省親，張居正找到梁雲龍，請他通知海瑞，自己要舉薦海瑞為禮部尚書，條件是要他在會試中錄取自己的兒子。梁雲龍回鄉後，找到海瑞，將張居正的話告訴了他。海瑞淡淡地說：“煩請轉告張太翁(張居正)，禮部尚書我不當，他兒子能否考中，也與我無幹，請他好自為之。”
梁雲龍回京後，將海瑞的話轉告給了張居正。張居正氣得將早已擬好的保薦海瑞做禮部尚書的奏折撕得粉碎。
再次入仕理朝政夕陽依舊奪目紅
海瑞墓得罪了權傾朝野的張居正，海瑞此後在海南整整閑居了16年。這16年中，海瑞生活貧困，雪上加霜的是他的妻兒後來又全部撒手而去，身邊僅剩一個仆人海安照料他的起居。
萬曆十年(1582)六月，張居正病故。朝廷下旨，將被張排擠的諸臣召回，海瑞也在其中。萬曆十三年(1585)正月，海瑞被任命為應天都察院右僉都禦史，二月又改為吏部右侍郎。
接到聖旨後，72歲的海瑞在海安的陪同下前往應天。途中，聽聞禦史房寰40多歲的兒子搶了一個15歲的小女孩做第13房小妾，他不禁又怒火中燒，立即派人將房公子押解到應天府，命應天府率同上元、江寧兩縣嚴厲懲辦。房寰惱羞成怒，便勾結一批貪官聯名上疏攻擊海瑞。海瑞毫不理會，更加雷厲風行地整頓官場風氣，貪官汙吏不時被查辦。
萬曆十三年（1585）冬，海瑞又被提升為南都察院禦史，為正三品官員。
晉升之後，海瑞再一次發出告示，宣布嚴禁向官員饋贈禮物，並帶頭把各種禮物一一退回。與此同時，他還明令各級官員禁止向百姓攤派徭役。為懲治貪汙腐化，他主張不能以錢贖罪，而應恢複明太祖定的舊規，對違法者用廷杖重責。
此時海瑞年逾古稀，雖雄心猶在，卻無力回天。加之他生活困苦，憂思多慮，漸漸患病臥床不起了。應天百姓聽說海瑞身患重病，紛紛入寺進香，求上天保佑這位愛民如子的“海青天”。但天不遂人願，海瑞的病情還是一天天地加重了。
萬曆十五年(1587)十月十四日，一個風雨之夜，身邊沒有一個親人的海瑞與世長辭，享年74歲。就在他臨終前三天，兵部送來的柴薪費多算了七錢銀子，海瑞還讓人如數退了回去。
消息傳至朝廷，南都禮部和應天府馬上派人幫助整理遺物，布置後事。清貧一生的海瑞，留下的遺物實在是太簡單了。海安清來點去，隻有20兩俸銀，幾件破舊的衣服，幾雙破布靴，再就是幾匹綾和綢葛。海瑞所有的家當，連一個貧士都不如。看到這些，在場的幾位官員都忍不住哭出聲來。區區20兩銀子，根本不夠籌備葬禮。在場的官員於是紛紛解囊，湊了800兩銀子，為海瑞料理後事。
送葬那天，禮部右侍郎沈鯉代表朝廷參加海瑞的葬禮。在出殯前，沈鯉宣讀了朝廷的詔諭：諡海瑞“忠介”，贈“太子少保”。之後，各衙門的官員和海瑞的同鄉諸官分別吊唁，大家長跪在海瑞的靈柩前痛哭失聲。午時，出殯的隊伍走出應天府。應天市民自動罷市一天，為海瑞送行。家家戶戶的門前都擺著酒菜飯食祭奠這位清官。鄉下的村民也紛紛趕到城裏，為海瑞送喪。
海瑞的靈柩從應天城被36位身著白衣白帽的差役緩緩抬出，沿途哭聲不絕於耳，哀樂震天。這是人民心目中的國葬啊！“了卻君王天下事，贏得生前身後名”，海瑞在天有靈，也可含笑九泉了。
遍觀中華曆史，正直如海瑞者、剛毅如海瑞者、清廉如海瑞者，可謂鳳毛麟角。而集三者於一身之人，也隻有海瑞而已。他那正直的風範，讓百姓交口稱讚；他那剛毅的個性，讓他不畏權勢，視死如歸。為官一生，海瑞幾番沉浮，但其個性依舊，相比之下，那些貪官汙吏，那些昏聵小人，怎不汗顏?海瑞，無愧於“剛峰”，無愧於“青天”。