文長既然不得誌於官場，於是就放浪形骸，以酒為樂，縱情山水，遊曆齊、魯、燕、趙等地，飽覽北方大漠風光。他所見到的高山奔騰如駿馬，海水呼嘯洶湧而來，黃沙漫天飛舞，雲彩變幻莫測，風雨交加，樹木匍匐倒地，山穀幽深，都市繁華，奇人異士，珍禽怪獸，一切令人驚訝的景象，都一一化入他的詩中。他的胸中勃發著一股不可磨滅的銳氣，卻又心懷英雄走投無路、無處安身的無限悲涼，所以他的詩作時而怒罵，時而嬉笑；有時如水流奔瀉於峽穀，發出雷鳴般的聲音，又如種子破土，無聲無息；有時又像寡婦深夜啼哭一般傷心欲絕，又像旅人寒夜起身一樣艱難困苦。雖然他的詩文有時體格卑下，但是匠心獨運，有大家氣概，不是那些像女子侍奉他人一般的媚俗詩作所能企及的。他的文章有卓越的見識，氣勢雄渾而體法嚴謹，他不因為墨守成規而壓抑自己的才華，也不因為漫無節製地議論而有損自己的品格，真是韓愈、曾鞏一類的人物。徐文長誌趣高雅，與當時的風氣不合調，對當時的所謂文壇領袖人物，他一概憤怒地貶斥，所以他名氣隻局限在浙江一帶，這實在是令人悲哀啊！文長喜歡書法，他用筆奔放如同他的詩，蒼勁中又有一種嫵媚的姿態躍然紙上，正如歐陽修所說的“年輕美好的女子，雖然老了，仍然風韻猶存”。文長在詩文、書法之餘，也繪畫花鳥，也都超然灑脫，富有情致。
後來，文長因猜疑而殺了他的續妻，於是，入獄並被定了死罪。張元汴太史極力營救，方得出獄。晚年的徐文長對世道愈加憤恨不平，行為更為癲狂，達官顯貴登門拜訪，他時常拒絕不見。他經常帶著錢到酒店，呼喚下人仆役和他一起喝酒。他曾拿斧頭砍破自己的頭，血流滿麵，頭骨都斷裂了，用手揉摸，碎骨哢哢作響。他還曾用尖利的錐子錐入自己雙耳，深達一寸多，竟然沒有死。周望說文長的詩文到晚年愈加奇異，沒有刻本流傳，詩文集稿都藏在家中。我有科舉同年的好友在浙江做官，曾委托他們抄錄文長的詩文，至今沒有得到。我所見到的，隻有《徐文長集》《闕編》二種而已。
然而文長竟然因為在當時不得誌，心懷怨憤而死。石公說：徐文長先生的命運不濟，致使他得了癲狂病。狂病的不斷發作，又導致他被投入牢獄之中。從古至今文人的牢騷怨憤和遭受的艱難困苦，沒有像先生這樣的了。盡管如此，仍有胡公這樣難得的世間豪傑，世宗這樣的英明君主，在文長做幕客的時候以不同於常人的禮遇優待他，這是胡公了解先生啊；表文上奏，皇帝歡心，這說明皇帝知道先生啊。先生隻是沒有得到顯貴的官位而已。先生詩文崛起，一掃近代文壇荒蕪汙穢的習氣，百年以後，自會有公正的定論，又怎麼能說他生不逢時呢？
梅客生曾經寫信給我說：“文長是我的老朋友，他的病比他的人怪，他的人比他的詩怪。”我認為徐文長沒有一處不怪異奇特的。正因為沒有一處不怪異奇特，所以也就注定他一生命運艱難坎坷。令人悲哀呀！
一文一語
百世而下，自有定論，胡為不遇哉？