嘉靖三十七年(1558)，因業績突出，海瑞被晉升為浙江省嚴州府淳安縣知縣。淳安縣山多地少，百姓困苦，但官吏富豪卻占地眾多，他們又串通舞弊，玩弄各種花樣逃稅。如此一來，農民便要擔負這些虛報土地的稅役，負擔十分沉重。海瑞到任後，決定重新丈量土地，按實際田畝數征收稅役，以減輕百姓的經濟壓力。他還采取分配荒田、借貸耕牛和種子、三年後起征賦役等措施，使很多外逃他鄉的農民回到了淳安。此外，他還取締了地方官員勒索民財、帶大量金銀赴京朝覲的陋規，革除了知縣向出巡的巡按禦史、分巡道、分守道等官員饋贈銀兩的舊習。
海瑞重視刑獄，伸張正義，平反了許多冤案，被譽之為“海青天”、“南青天”。當時有一件桐廬縣殺人案，甚為難斷。百姓徐繼有一妹妹，嫁與戴五孫為妻。戴五孫生活奢侈，花費很大，曾向徐母借過銀兩。徐繼多次替母索要，但均無回音。一天戴五孫在門前遇見了徐繼，談到所借銀兩何時歸還的事，一言不和，二人發生口角。盛怒之下，徐繼用石塊打死了戴五孫，然後將屍身綁上大石頭沉入水中。剛巧這一天，吏員潘天麒及仆人因公差投宿戴家。桐廬縣審訊後，認為是戴五孫妻徐氏與潘天麒通奸謀殺親夫，判將徐氏淩遲處死，潘天麒處斬。待杭州複審時，判潘天麒鬥毆殺人，定其絞罪。北京大理寺駁回後，桐廬縣、建德縣、遂安縣三知縣會審，仍沒有結果。後巡按禦史崔楝把此案移到淳安縣審理。海瑞細心研究，多方調查，真相終於大白，最終保全了徐氏和潘天麒的性命和名譽。這樁曆經數官審判，拖延十多年的疑案，經海瑞親審才公正結案。
最讓百姓交口稱頌的還是海瑞嫉惡如仇，敢於打擊權貴。
嘉靖三十八年(1559)的一天，浙江總督胡宗憲之子路過淳安。由於當地沒有送給他什麼供奉，他便故意找茬兒。住進驛站之後，他嫌侍候不周，馬匹供應不及時，竟將驛站的官吏倒吊在樹上毒打。當時，圍觀的人很多，但由於畏懼其父親的權勢，皆是敢怒而不敢言，沒人敢出來解勸。
有人將此事悄悄報告了海瑞。海瑞聞訊後火速趕來，見此情景，怒火中燒，當即就想發作。但他知道浙江總督胡宗憲是當朝權相嚴嵩的黨羽，正是炙手可熱，弄不好自己丟官倒是小事，牽連了地方可就得不償失了。思忖片刻後，海瑞分開眾人，徑直走進驛站。還沒有等胡公子開口，海瑞便指著他厲聲喝道：“哪裏來的刁頑之徒，膽敢在此地撒野?”旁邊站立的眾人怕他惹禍，連忙好心地小聲提醒他說：“這是總督胡大人的公子。”
海瑞故意裝出吃驚的樣子說：“豈有此理！此人哪會是胡大人的公子?胡大人一向勤政愛民，教子有方，怎會縱容這種無賴之徒騷擾地方？分明是一潑皮無賴，假冒胡公子之名，來此行凶作亂，還不將他拿下!”左右差役便不由分說，把胡宗憲之子一行人扣押了起來。海瑞把驛吏放了下來，又指著胡公子所攜帶的大小幾十個箱子，當眾說道：“胡總督清正廉潔，以前他到所轄之地巡察之時，都曾明令地方屬下不要鋪張接待，更不許行賄送禮。而眼前這個人帶了這麼多行囊，肯定是搜刮了民脂民膏，還打著胡公子的旗號，這種行事哪有胡大人樣子呢?打開箱子查驗，便可分出真假。”
箱子被打開之後，果然裝的都是白銀。海瑞大怒道：“這惡棍真是膽大包天，竟敢冒充總督之子，大肆行騙勒索，敗壞胡大人的清名。對這假冒之徒，一定要奏明胡大人，嚴加懲辦!”說完，他根本就不聽胡公子的分辯，下令將其拉出痛打一頓，並把那些銀兩全部充公。
事後，海瑞修書一封，派人送交胡宗憲，信中說他查扣一冒名的刁民，已獲取大量贓物證據，為正大人的清名，已當眾將其治辦，並請胡大人示下。胡宗憲接到奏報，有苦難言，隻好一麵嘉許海瑞奉公執法，一麵要求將“假冒”之人押解到總督府，由自己來查明處理。海瑞正打算由此脫身，便馬上派人將其公子送還。
嘉靖四十三年(1564)，由於為官清廉公正，海瑞被提升入京，任戶部雲南主事，官居六品。
扶棺進諫鋼做脊鐵骨錚錚膽氣豪
此時嚴嵩已倒，但世宗仍舊沉溺於長生不老的美夢之中。他終日派臣子訪仙尋道，自己則留在宮中，支起煉丹爐，將皇宮變成了水陸道場。而至為重要的國家朝政，統統被他拋諸腦後了。因為世宗對敢於上諫之人一律嚴懲，滿朝文武對其行為不敢輕言，戶部也是絕口不談朝政。絕大多數臣子們後來幹脆鉗口不言了。
然而，仍有不怕死之人，那就是鐵骨錚錚的海瑞。身在朝中，海瑞對世宗的所作所為早有所聞。戶部掌握的銀兩，大多都被用於修觀建壇，這令清廉成性的海瑞憤怒不已，他用了一個多月的時間，寫成一篇3600多字的奏疏，其文引古論今，開篇就將世宗聖明的外衣剝了個幹淨：國家財政枯竭，百姓饑寒交迫，他替民請願：升仙求道邪術，純粹是無稽之談，勞民傷財，有百害而無一利。又勸誡世宗，革除仙術弊端，以國為重，以天下蒼生為本。
在呈交奏疏前，海瑞已把身後事做了安排。他留給母親一封信，說忠孝不能兩全，請求母親原諒，並叮囑她萬一自己被處死，就帶著他的妻兒回老家去，另外，他又寫了一封信給好友德宏，托他照顧老母和妻兒。最後，海瑞把他京中府第僅有的一位仆人和兩名差役也遣散回家了。海瑞一生為官清廉，沒有什麼積蓄，此時手頭隻有20兩銀子，他便拿到街市上訂做了一口棺材，以免別人替自己收屍時還要破費。
嘉靖四十五年(1566)二月，一切準備就緒的海瑞將奏表呈進世宗。
昏聵的世宗讀完奏折，勃然大怒，道：“先帝在日，亦不曾如此辱我。豎子何人，膽敢冒犯朕躬！”說畢，他命太監傳令，“速將此大逆不道之人擒住，朕要將他淩遲處死，萬不能使他逃掉！”太監道：“陛下少安毋躁。海瑞實為一癡人，上奏之前，業已購棺在家，抱定了必死之心，又豈能逃?”
世宗想，我想長生不死，而這個海瑞居然不怕死，還早已買好棺材存心找死！便又把海瑞的奏章讀了兩遍，覺得他說得似乎也有些道理。但是，被海瑞罵了一頓，他胸中總覺得有一口氣沒出。於是第二天他便派錦衣衛把海瑞抓了起來，關進錦衣衛特設的監獄。
在海瑞被捕的第四天，敬重海瑞的下屬何以尚闖進宮中，擊打景陽鍾，呈上奏疏，請求釋放海瑞。世宗令錦衣衛將其廷杖四十，投入監獄，和海瑞押在一起。
世宗還是決定要處死海瑞。刑部已擬好了將海瑞斬首的奏章，但奏章經過內閣時，愛才的內閣首輔徐階有心將其擱置下來，沒有呈世宗禦批。沒過多久，吃丹藥中毒的世宗便駕崩了。
嘉靖四十五年（1566），徐階等朝中元老扶太子朱載垕即位，改元隆慶。徐階、張居正等人，以世宗遺詔之名，宣布大赦。海瑞、何以尚等人被釋放出獄，官複原職。
在釋放前，看守監牢的官員就聽到一些風聲。為了向海瑞、何以尚表示慰問，他們在獄中擺了一桌酒席。海瑞以為這是上刑場前的送行酒，於是和何以尚大吃海喝了一頓。可是酒足飯飽之後，監獄官告訴他倆，世宗已殯天，他二人現在無罪釋放，官複原職了。海瑞和何以尚幾乎不敢相信，既而二人抱頭痛哭起來。