1562年6月，嚴氏內閣倒台，顧念此人撰寫青詞的功勞，朱厚熜沒有把這個服侍了自己二十多年的老臣賜死，隻是逐回江西老家。三年後，嚴世蕃被舉報謀反，經三法司會審後處決，嚴府所有家產都遭籍沒，嚴嵩和他的幾個孫子被廢為平民，嚴嵩費盡心力收羅來的書畫古玩全都籍沒充入皇家內庫。1565年，文徵明的兒子文嘉接到一項特別指令，要他參與對官籍嚴氏書畫的登記造冊工作，嚴嵩在分宜老家、袁州新宅以及省城數處住宅裏的名畫法帖全部集中點檢，費時整整三個月才登記造冊完成。據一本叫《天水冰山錄》的私家筆記記述，抄沒的嚴氏書畫共計有三千多軸。萬曆初年，因邊務吃緊，軍費開支嚴重不足，這些古畫、法書都被充作武官歲祿分發下去。武人不識風雅，每一幅古字畫，哪怕是唐宋名家名作，也值不了幾個銀子。襲爵成國公的朱希忠和他的一個兄弟趁機大量抄底吃進，沒過幾年價錢翻了十幾倍。朱希忠去世後，他的兒子把這些鈐有“寶善堂”印記的古字畫成批送給時任內閣首輔的張居正，終得進封定襄王，就這樣，被年輕的萬曆皇帝尊稱為“張先生”的張居正又成了這批古玩的新主人。
張居正對藝術品的嗜好一點也不亞於前朝首輔嚴嵩，相比於嚴嵩出了名的貪婪，張居正對下屬素以悛刻著稱，時人有向他敬獻寶物的，畏其勢焰，必不敢拿贗品來糊弄。所以張居正雖然沒有指使親信到處去搜羅珍玩，所入之途稍狹，但藏品的質量卻要遠高於嚴嵩。但在經過無數歲月淘洗的古物麵前，一個人再強勢、再富有，也不過是個倉庫保管員的角色，1582年7月9日，隨著張居正在北京任上去世，對之清算的風潮已在慢慢積聚成形，他去世後的一年零九個月，即1584年5 月，這場風暴終於刮向他的家鄉湖廣江陵，他的家產也難逃清抄一空的厄運。
那批從嚴嵩手上流進皇家內庫的古物，在張居正這裏短暫停留後又籍沒回到宮裏。這批藏品，不久後被掌庫的宦官陸續偷盜出宮，在市麵上低價拋售。得知這一消息，項元汴、韓世能（一位長期在北京為官的蘇州人）、王世貞和王世懋兄弟這些江南藏家紛紛北上爭購。那時項元汴已步入晚境，他買到的這批字畫數量不是太多，但都是精絕之品。
這幅收藏史簡圖的最後，異峰突起的是著名畫家董其昌和來自山陰的前吏部官員朱敬循。沈德符告訴我們說，隨著1590年前後項元汴、韓世能的相繼去世，一個黃金時代謝幕了，此後的舞台上，帝國首席收藏家的競爭就在董和朱之間展開了。董起步稍晚，卻名頭最響，人稱他對鑒賞此道如有“法眼”。朱敬循的路子要猛一些，也野一些，在他巨大的胃口下，古董商爭著供貨，他家園林都成了古董商人的戰場。同時開始粉墨登場的，還有那批以經營鹽、米、絲、茶和典當行驟富的徽州商人，但這批生意場上的驕客剛入此行總要吃虧，做冤大頭，常常惹得刻薄的書畫掮客們發笑。
細細的紅線
李日華還是一個孩子時跟著表叔去同城的項家玩，看到項元汴珍藏的一粒芝麻。芝麻的正麵背麵都刻有字，據說是南宋舊物，是宮中一個微雕大師的作品。這微觀世界裏蘊藏著的萬千氣象給童年時代的李日華打開了一個新奇的世界，成年後他回憶當時的激動心情，說是吃驚得舌頭打結，都快說不出話來了。
李家門戶並不顯赫，祖宗留下的隻幾畝薄田，再說李日華比項元汴小四十歲，李日華得以在考中功名前就與項元汴交往，不可不提他的表叔兼老師周履靖。此人字逸之，號梅顛，是隆、萬年間的一個隱士，與項元汴交往甚密，兩人經常聚在一起飲酒把盞。李日華年幼時作為表叔的跟班，不但親見項元汴意趣風發、談笑風生的瀟灑風度，而且經常有機會見到項和他的表叔一起揮毫潑墨。十四歲那年，李日華考入縣學，成為廩生，算是正式開始領取一份國家津貼，項元汴還特意畫了一幅《玉樹圖》相贈以示鼓勵。李日華日後回憶，項元汴還送過他一支特製的筆，此筆名叫“散卓筆”，係項元汴從製筆工匠那裏定製，比尋常的筆要粗大些。
成年後的李日華忙於功名，大概從四十歲那年起，李日華因母親去世從河南西華令的職位上離任，回到嘉興老家開始了他長達二十餘年的閑居生活。開始幾年，他閑散地讀書、訪友，指導兒子功課，幫人鑒定字畫和古玩，視自家經濟狀況也適量購入，從1609年開始，李日華開始寫作他著名的《味水軒日記》。李日華後來成為一個出色的鑒賞家和文人畫家，他的雅馴、典正文藝觀的養成，總有一根細細的紅線聯係到天籟閣去，也正因為此，他終生都對項元汴保持著尊敬和綿長的懷念。
1612年春天，李日華在南京試院前的一家店鋪中看到了項元汴當年所繪的一幅扇麵，畫的是紅色寶珠茶花一枝，細雪糝於上，這枝花鮮豔得就像剛采摘下來一般。李日華一下子就想起了多年以前此老的音容笑貌，他感慨說，沒想到項老的藝事精工至此！而那時，距項元汴去世已經二十二年了。
李日華對項元汴士人氣息濃鬱的畫作——他稱之為逸韻——甚為推重，對項氏的書法，他則認為行書有李北海的風格，而在古雅逸宕方麵甚至要超過李北海。1616年，李日華在汪珂玉那裏看到項元汴早年的一幅《竹渠圖》後感慨，自項元汴死後，南方的文人畫越來越走入歧途，斯文命脈之斷久矣，如此高的讚譽也隻能來自他與項元汴的這一份私誼。
回鄉後的李日華住在嘉興城東郊外一處叫甪裏的地方，這裏臨近河濱，有時他早上醒來，門外就已經停泊了書商或古董商的船。有時他書房的窗沒關緊，竟然會跳進一隻機靈的鬆鼠。另外在府城東門一處叫春波裏的地方他還有一片產業，租賃給了相熟的朋友。論經濟的寬裕他自然比不上老師馮夢禎，可以把養老的別墅修到西湖邊的孤山去，但對於藝術人生的經營勁頭，他一點不亞於乃師。他在甪裏的大院裏打造了恬致堂、紫桃軒、味水軒、六研齋等多間精舍，還親自設計建造了一隻叫“雪舫”的代步船，船上滿載花觚、酒器、書卷這些雅具，春天去西溪探梅，夏初去錫山取烹茶的惠泉水，北上蘇州采購花木瓷器及家俱，甚至三年一度的秋天送兒子上省城應鄉試，也都是坐自家的船。
看花、聽鳥、生病、飲茶、觀畫，凡此種種浮生中的瑣屑細節構成了萬曆三十二年起李日華退居鄉間的日常生活肌理，但他和項元汴畢竟是兩代人，陪同他度過悠閑的鄉居生活的，已是項元汴的子侄一輩了。
比李日華小六歲的項德新是項元汴的第三個兒子，少年時代他們一同受業於馮夢禎先生。馮夢禎是萬曆五年會試第一名，入過翰林，向他習字、學文的人數不勝數，李日華回憶說，他和項德新同學的時候，項德新總是偷偷往馮先生家裏跑，比其他同門師兄弟學到了更多東西。項德新在國子監讀書的時候，為了巴結馮夢禎，把家藏的一幅陸柬之《蘭亭詩卷》真跡送給了馮夢禎。馮先生嗬嗬笑納，自跋此卷時掩不住一臉得色，說是：“墨氣若新，精彩飛動，大是神物。”
馮夢禎得到這卷法書，大為珍視，平時秘不示人，但他的女婿沈鳳向他開口索借，他又不能不肯。長相清瘦的沈鳳是個標準的浪蕩公子哥，於書法、鑒賞卻有一份難得的天賦，馮夢禎對這個寶貝女婿真是愛恨交加。馮夢禎住在孤山別墅的時候，沈鳳也搬來與他同住，說是侍奉老丈人，實際上是為了節省家居冗食及其他雜費。1552年夏天，在家人的勸說下，沈鳳興衝衝趕往南京應試，不想剛到南京就生病，考試也沒參加就送回了家中，不久一命歸西。馮夢禎前往長溪沈家吊喪，雖然記掛著沈鳳借去的那幅字，卻也不忍搜其故篋，忐忑了近一年，他又到長溪沈家，這一回是女婿周年祭，忙前忙後，當晚就在沈家住下。正好有一個沈鳳的生前好友前來討要借去的一幅字，於是馮夢禎得著了一個名正言順的機會，幫著女兒細細翻檢，來客討要的那幅字沒找著，他借給沈鳳的那幅《蘭亭詩卷》卻赫然在目！馮夢禎一點沒有掩飾他的喜悅，說：至寶複歸，歡喜無量，真是張公飲酒李公醉，得來全不費工夫啊！
重新找回《蘭亭詩卷》後，馮夢禎再也不肯把這幅字出借。1605年馮夢禎去世後，這件法書就歸了他的兒子馮權奇。馮權奇就是租住李日華府城東門春波裏房子的那個朋友，他雖然有個做過翰林的父親，但也和早死的沈鳳一樣不喜讀書，常常和一些鬻古的、賣假畫的混在一起。李日華對他的評價是“性耽幽寂，不習世故”，看來怪脾氣是出了名的。馮權奇經常付不起房租，李日華倒也不催，他自己不好意思了，把《蘭亭詩卷》折價六十兩銀子典押在李日華那裏。
1610年冬天，春波裏以及沿街店麵房百餘間發生一場大火，把李家的一大片房產全都焚為灰燼，而這場大火的罪魁禍首，就是借住此地的馮權奇。火災發生後的第六天，李日華在日記中道明了此事原委：堂前的一塊湫地，本來種有竹子，竹子枯死，馮把它們全部斫去，又鑿牆多作圓光，鑿得牆上到處都是大大小小的圓孔，於是偶一不慎，引火入內。李日華出入過馮權奇家中，他說馮家住得實在是“溷褻狼藉”，樓上是十餘箱佛經，樓下住著妻妾，火勢一起，家人婢子竄作一團，以致烈焰騰空了這些人還傻愣著，好像根本就想不起來還有救火一說。
李日華說的“圓光”，應該是奇門遁甲裏的一種“圓光術”，類似風水、畫像施法的看形術。樓上放佛經，樓下住妻妾，一大家子住得肮髒淩亂不說，還往不該鑿洞的封火牆上亂鑿洞，這把火還真燒得一點不冤。隻是苦了李日華，老父一生拮據積攢下的一整片產業瞬間被燒個滑塌精光，十多年裏他都未能恢複元氣，直到天啟初年，那片房子才又重新蓋上。
那幅典押在李日華處的《蘭亭詩卷》神奇地躲過一劫，用李日華的話來說真是神物嗬護，獨為靈光之存。以後的十數年間，這幅法書一直保管在李日華的清樾堂裏。後來，此卷仍然還給了馮權奇。說起這一節，李日華還兀自憤憤不平，說是被馮權奇強奪而去。當時典資說好是六十兩銀子，馮權奇竟然隻付給他兩隻冒牌的鼎。後來馮權奇把此帖高價轉手給了吳中商賈，就再也沒人見過它了。
萬曆四十四年的大火
李日華在嘉興悠閑度日的八年中，比他年長十歲的畫家董其昌也正在華亭家中過著同樣的閑居生活。雖然兩地之間一夜航船可到，但沒有記載可以表明，這兩個當世最負盛名的大鑒賞家有過任何往來。
不往來並不表示看不到對方的存在，大師之間的相互漠視或許是另一種形式的重視，在李日華的心目中，官場和藝壇雙臻完美的董其昌可稱是他那個時代文人理想生活的一個完美樣板。這話他不會當著董其昌的麵說，卻時時拿董作榜樣教導兒子。六十歲那年，不甘寂寞的李日華結束隱居生活，赴京任尚寶司丞一職，在寫給弟子石夢飛的一封信中，督促弟子和唯一的兒子李肇亨不可過分沉迷於書畫丹青，而應該像當世名士董香光那樣，進取功名實利，退享博物清名，要是一個人在仕途上一事無成，即使成為當今的文嘉、陳道複那樣的大畫家和鑒賞家，終究還是有缺憾的人生。