兩人相處，矛盾重重。
而真正讓兩人分道揚鑣的是對白居易和朱熹禮學的分歧。
江州司馬白居易寫下《琵琶行》那樣的傳世名篇，按理說應該算是體憐紅顏正人君子的絕世佳作。
但徐渭卻說想當年唐朝有個叫關盼盼的徐州名妓，“善歌舞，雅多風致”，被尚書張愔寵愛，買為家妓。白居易到徐州玩時，老張設宴款待，命盼盼陪侍。白大詩人贈詩雲：“醉嬌勝不得，風嫋牡丹花。”過了幾年，老張不幸牡丹花下死。盼盼很有情義，住在老張舊宅的燕子樓上，十多年獨居不嫁。
誰想那江州司馬得知後，不知哪根神經錯動，他又寫了一首《感故張仆射諸伎》的混帳詩：
黃金不惜買蛾眉，揀得如花三四枝。
歌舞教成心力盡，一朝身死不相隨。
這首詩無恥之極，說什麼主人不惜花大價錢把你買來，嘔心瀝血把你培養成歌舞明星，如今主人上西天了，你怎麼不跟著去呢？
關盼盼得到這首詩後，哭得跟淚人似地說：“妾非不能死，恐我公有從死之妾，玷清範耳。”意思是怕影響老張的名聲。盼盼又寫了一首《和白公詩》：
自守空樓斂恨眉，形同春後牡丹枝。
舍人不會人深意，訝道泉台不去隨。
此詩委婉地指責白大詩人根本不理解小女子的一腔深意。為了表示自己不是苟活於世，盼盼絕食了十來天，活活把自己餓死。白居易這件事幹得真是缺德，再寫十首《琵琶行》恐也難贖其罪。”
張元忭低頭不語，半響才道：“原來如此，可歎江州司馬也不過是個視女人如玩物的登徒子，沽名釣譽之輩。”
“不過那朱聖人說水不厭清，女不厭潔，餓死事小，失節事大，卻是至理名言。
徐渭怒罵道：“朱熹？他開口‘天理’、閉口‘道學’，可是他勾誘兩個尼姑作為寵妾、孀居的兒媳也被他弄上了手，還真是道德的典範，讀書人的楷模。隻不過那是專屬男人的道德，專為桎梏女人所設。”
張元忭毫不示弱：“節烈貞操，原是婦道本份，常言道一馬不配二鞍，一腳難踏兩船，所以一女不侍二夫，正如為人臣者不事二主。本朝最重風教，自太祖以來，為表彰節婦，三十守寡而五十不改嫁者，旌表門閭，除免本家差役，那是何等榮光？”
徐渭朗聲道：“正所謂君不正，臣投外國；父不正，子奔他鄉。恪守婦道，那也得看是對著什麼樣的男人，若男子有情有義，女人何當愛身修德，若男人薄情寡性，憑什麼就要讓女子守那貞潔牌坊。以某觀之，即便是太祖法律也未必盡對，這世界既然是屬於男人的，那麼道統律法對男女的標準不一也就不足為奇了，如果是男人被侮辱了尊嚴，那就是臥薪嚐膽、是忍辱負重，隻要他將來報了仇，那便揚眉吐氣了，不會有人在意他曾經怎麼無恥，哪怕他主動獻媚地吃過敵人糞便，而為他奪得江山受盡淩辱的美人，卻隻能落得紅顏禍水，陳屍江底的厄運，至於普通的婦道人家，哪怕是被強迫地失節，或者疑似失節，也是不可原諒的罪過！”
一席話說得張元忭再也坐不住了，他沒想到徐渭連朱元璋都敢罵，再留他在身邊，恐怕會有滅族之禍。
徐渭也覺得這剛混熟的府上突然陌生起來，那些亭樓水榭，也很猙獰，那一道道紅牆全是鐵幕，還是草堂魚巷無比溫暖於是便辭別張元忭說：我殺人當死，也不過是頸上一刀，要讓我向世俗歪理屈服，那是要把我剁成肉糜！徐渭斷不敢此！
離開京城後，徐渭感歎：
文章千古在
仕途一時榮
置身官場，隻如蜉蝣於天地，滄海之一粟。和在紹興時的自由散漫、無所拘束相比，作官不啻於是在下地獄。
從此徐渭才真正拋開仕途，四處遊曆，著書立說，寫詩作畫。神州大地到處都有他的身影，命運的困蹇激發了他的抑鬱之氣，加上天生不羈的藝術秉性，“放浪曲蘖，恣情山水”，一泄自己內心的情感，他的全部情感都要通過藝術創作來釋放，悲劇的一生造就了藝術的奇人。
直到幾十年後。