小德子說：“說是破綻出在雨傘上，畫中古人打著一把今人用的雨傘。”
唐寅越發好奇：“畫在哪兒，我看看。”
小德子接著說：“我剛給了琉璃廠的老相識常玉山，想著他能倒出手掙倆錢。”
過了一段時間，時令進入了冬天，“善水堂”的生意清冷下來，唐寅到琉璃廠辦事，突然想到《舊雨牡丹圖》，就找到古玩店老板常玉山，詢問《舊雨牡丹圖》的下落。常玉山把唐寅領到一家簡陋的小飯館裏，小飯館的牆壁上就貼著那張《舊雨牡丹圖》，畫的下麵是灶台，那畫被煙熏火燎得有些不辨顏色了，倒能看清上麵畫著個女子打著把傘，正在雨中賞花。女子的麵目仿佛見過。那傘一下子就吸引住了唐寅的眼光，滿鋪牡丹的油紙傘麵上，很醒目地寫著“善水堂”三個字，後麵另有兩個蠅頭小楷寫著唐寅的名字。唐寅心裏一震，想起了女子找他修補舊傘的事。
常玉山說：“小德子托我倒賣這畫，可這畫作偽的手法也太詭異了，什麼地方都真，唯獨這傘瞞哄不過人眼目去，你看看，明擺著就是你家‘善水堂’的滿鋪牡丹油傘啊，沒人要，都知道這畫的破綻，還當趣話笑話到處講。後來，這家小飯館的老板，給了幾個錢買下了，說是看畫上的女子好看。”
唐寅越聽越覺心情沉重，想起那日女子一迭聲地說過“隻求免於煙熏火燎”。唐寅天性憐香惜玉，不忍這畫中女子在小飯館中受如此這般人世煙火，便借口說愛惜自家招牌，照原價從小飯館老板的手裏，買下那幅髒膩油汙的《舊雨牡丹圖》，回家後，仔細清去畫上油汙，把畫掛於雅室。
唐寅沒事就看那幅《舊雨牡丹圖》，畫上的打傘女子，古典端雅一臉清寂。“善水堂”裏每來了貴客，唐寅總要鄭重其事地把《舊雨牡丹圖》拿出來，說這是前朝名畫，看的人都知道雨傘的破綻，沒有人相信唐寅的話，唐寅又說不清，反令《舊雨牡丹圖》成為了時下人的笑談。
畫上的女子，本來隻是一臉清寂，在所有的人都認定這是幅假畫時，唐寅發現女子的臉色變得哀傷起來，神情一天比一天憔悴。終於有一天，畫上的女子，像是被水浸漬了般，斑駁模糊起來，用手一摸，紙粉亂下。唐寅是愛畫之人，不由執筆潑墨，細心為畫上的姑娘描繪了眉眼、鼻、唇，連淩亂的發絲在唐寅的精心描繪下，都別有一番風情。唐寅仔細觀察這畫中女子的衣著打扮，像是宮中女子。不由暗暗感歎：“姑娘啊，你原本金枝玉葉之軀，落到這小店，可當真是委屈了。”
是夜，月上柳梢頭，唐寅剛剛和衣躺下。隻聽有人輕輕叩窗，窗外映出一個妖嬈的背影，身後撐著一把紙傘。未待唐寅發問，那窗外人先說道：“多謝公子替我免去煙熏火燎之苦。”
“你可是那畫中人？”唐寅不驚反喜。
女子柔聲回答：“正是。若不是公子替我描繪上口唇，如今也不能站在這裏說話了。我本是前朝皇帝身邊的侍妾。然而這畫師與我相戀已久，我二人無法相守，隻得留下這幅畫作個念想。我死去之後，魂魄不散，無法輪回，長留畫中。”
唐寅連聲道歉，說道：“不知姑娘是畫中客，毀了姑娘的傘，還請見諒。”
女子輕聲歎道：“今日打擾，是想請您再幫我一個忙。”
唐寅說：“那是自然，姑娘請講。”
女子說：“既然陰差陽錯出宮，還請公子送我到桃花河，將畫卷放入水中，讓我順流而去。避免在塵世多番波折。”
唐寅的家鄉離桃花河不遠，於是便應了下來，即日啟程。臨走前夜，那姑娘從窗外遞進一根簪子。唐寅接過細看，竟是一隻烏木畫筆，筆杆質地油潤，令人愛不釋手。姑娘羞怯說道：“這正是我那戀人留下的，我這就去了，贈予公子吧。”
唐寅帶著畫卷去了桃花河，讓畫卷順水飄下，唯獨那隻畫筆緊握手中。多年後便在這裏築了桃花塢，日日提筆作畫，用的正是那隻集天地之靈氣的烏木筆。