但一種冷暴力開始在他身邊漫步，所有人見到他都躲的遠遠的，放佛近他三丈都會被晦氣沾染，從東南第一軍師到人人躲避的災星禍主，徐渭偏執激烈的心開始徹底絕望，進而發狂，他開始出現了嚴重的精神分裂，蓄意自殺，還給自己寫了墓誌銘。而且先後九次自殺，自殺方式聽之令人毛骨悚然，用利斧擊破頭顱，“血流被麵，頭骨皆折，揉之有聲”，又曾“以利錐錐入兩耳，深入寸許，竟不得死”。
就這樣瘋瘋癲癲的鬧騰到了嘉靖四十五年，徐文長遊蕩到一個寺裏，方丈對他愛答不理（畢竟對半瘋給你個落腳地就不錯了），但那時偏偏是徐渭清醒之時，被世俗的人嘲笑也就算了。連號稱六根清淨的方外之人都看他不起，讓徐渭無名火起，於是他便想捉弄一下這個老和尚。
於是一天清早，他乘和尚睡著未起的時候，穿戴了僧衣僧帽，往後園去，後園正對著是一個武官的小姐的繡房，他看見小姐在窗邊對鏡梳妝，於是便故意弄出很大聲響，惹得小姐往這邊看去，結果他便對著小姐小便。小姐羞憤難擋，於是便把這事告訴了父親，說對麵的和尚是個淫僧，他父親一個武將，聞言火冒三丈，立刻叫人把方丈拿去，一頓板子打死了。
徐渭本意隻想捉弄一下老和尚，沒想到搞出了人命，內心惴惴不安，深為慚愧，後來和他妻子同睡的一天深夜，他夢見老和尚來找他伸冤，要睡他老婆，便恍惚間拿著刀子亂砍，結果一覺醒來，發現是自己精神病發作，將妻子砍死了。
殺了人，不用說，自然要入獄的了。
倒是到了監獄，徐渭有犯人相伴，癲狂的病症反而清了好多，在一群囚犯中他反而靜心專研學問。
有的獄卒問他：怎麼你這個讀書人混的這麼慘，莫非你是個江湖騙子？
徐渭道：下士聞之大笑，不笑不足以為道，老夫要被圈養，稍用些力，也赴了博學宏儒科，吃的骨頭也不會比他們差，但狼和犬終究不是一回事，那些不是文人，隻是婊子，而我還有四五分算文人。
說的獄卒滿臉惶然，敗興而去。
就這樣過了七年，
一天監獄門緩緩打開，獄卒對著老者一指，道：徐渭，走了。
全倉都以為他該上路了，畢竟他殺了人，又無背景，在這兒生是偶然，死是必然，大家都司空見慣，也沒人來得及傷感，徐渭走到淺淺的水缸前，微笑著整了整發冠，這個動作震住了全倉，這來來往往不知多少人走，從沒有這時還整整帽子的。
徐渭臨到門前，也趔趄了一下，幾欲跌倒，但強撐著身子又站了起來，昂著頭走了出去。
這是一個骨子裏不被奴役的人，監獄裏居然傳來了喝彩聲，一群將死之人居然偷偷抹淚。
因為他們見慣了太多江洋大盜惡匪飛賊死前雙腿發抖，小便失禁，而這一個孱弱的文人在麵臨死亡卻是那麼的平靜。
但所有人都想錯了，徐渭並沒有死。
人，一生要走很多很多路，重要的卻隻有那麼幾步；人，一生要說很多很多話，重要的卻隻有那麼幾句；人，一生會認識很多很多人，重要的卻隻有那麼幾個。成功者和失敗者的區別，也許就隻在於他們多走對了一兩步路，多說對了一兩句話，多交對了一兩個人而已。
徐渭便交對了一個人，那個人叫張元忭，時任翰林修撰。
就是他四處找關係把徐渭從獄中救出，出獄之後，徐文長便隨同應張元忭去了北京。
但好景不長，兩人又決裂了，決裂的原因卻是因為——女人。
因為誤殺愛妻，徐渭內心十分自責，再加上小時候和乳母關係親密，徐渭開始轉變成最早最徹底的女權主義者，為婦女的合法權益和不公待遇來奔走呼告。
而張元忭是個性格嚴峻、恪守禮教的人，三從四德三從是未嫁從父、既嫁從夫、夫死從子最早見於周、漢儒家經典《儀禮喪服-子夏傳》，是聖人之言，乾坤陰陽之道，
而徐渭則認為，書上寫的可能是錯得，聖人之言也有謬誤，這等於是用聖人自己的話證明聖人說的對，