文長對自己的才能和謀略是很自負的，好出奇計，談論軍事也常能切中要害，而在他眼裏世上幾乎沒有一個合意的人，然終竟沒有遇合的機緣。文長既然在考場上不能得誌，於是就飲酒放縱，寄情山水，漫遊了齊、魯、燕、趙等地，飽覽了大漠風光。
他將自己所見到的那山巒奔馳、海濤擁立，黃沙飛揚、流雲飄忽，狂風鳴吼、樹木倒伏，幽深峽穀、巨大都市，以及人物、魚、鳥、等等，這一切使人震駭、驚訝的景象，一一都反映在他的詩歌創作中了。他的胸中又有一股不可磨滅的奮發有為的氣概，又有那英雄失路無處可以安身的悲憤，所以他寫的詩，象是大怒又象是狂笑，象是急流在峽穀中轟鳴，象種子在地裏破土而出，象寡婦在深夜哭泣，遊子被寒風驚起。雖然這些詩歌在體勢和格調上有時卑弱了一些，但能匠心獨出，有王侯氣象，決非那些象女人似的侍奉他人的詩人所敢企及的。文章有非凡的見識，氣韻深沉而法度嚴明，不因為是模擬而有損才氣，不因為是議論而有傷風韻，那是屬於韓愈和曾鞏一流的作品啊。文長既然不同時調合拍，而當時所謂詩壇盟主，文長又都加以叱罵而鄙視他們，所以他的名聲也就不可能傳出越地，真是可悲啊！他喜歡寫字，筆意奔放象他的詩一樣，蒼勁中又顯露出飄逸嫵媚的姿態，這正是歐陽公所謂“豔麗的美女雖然老了，自還有她的風姿餘韻”啊。有時又以他裕餘的精力，另注於花鳥畫的創作，都是高遠飄逸而富有情致的。
後來因為猜疑而殺死了他續弦的妻子，被關進監獄定成死罪，他的友人張元汴極力解救才釋放了出來。
他到了晚年，憤激的情緒更深了，顛狂的毛病更厲害了，那些顯赫人物上門，都拒不接見。他時常帶了錢到酒店，招喚低賤的仆隸一道痛飲。有時拿起斧子擊破自己的頭，血流滿麵，連頭骨都斷裂了，按揉傷口可以發出響聲。有時又用銳利的錐子戳自己的兩耳，進深有一寸多，卻竟然沒有死。周望告訴我說，“徐文長到了晚年，做的詩文更加奇特，但沒有刻印本，隻編成集子收藏在家裏。”我有位同年友人在越地做官，托他替我抄錄，至今還沒送來。我能見到的，隻《徐文長集》、《闕編》二種而已。然而文長終於因為不得誌於當時，遂抱恨而死。
我認為：“文長先生是因為命運一直這樣不好，才得了狂疾的，狂疾沒有好，就進了監獄。從古至今的文人，遭受的憂愁困苦，沒有象先生這樣的啊。雖然如此，胡公是曠世豪傑，世宗是英明君主，在幕府中受到特殊禮遇，這是胡公知道有先生了；奏章呈了上去，世宗非常高興，這是君主知道有先生了。隻是先生還沒有顯貴罷了。先生詩文崛起文壇，一掃近代雜亂、汙穢的風氣，百世之後，自有定論，怎麼能說他沒遇到時運呢？梅客生曾在寄給我的信中說：‘徐文長是我的老朋友，他的病比他本人還要奇怪，而他本人又比他的詩更奇怪。’我說徐文長沒有一處地方是不奇怪的。沒有一處地方不是奇怪的，這就是他無處不倒黴的原故了，真夠叫人傷心啊！”