湖帆的吳中故居，為金俊明的舊宅。俊明字孝章，號耿庵，明諸生，參加複社，畫竹石蕭疏有致，墨梅最工，載《吳縣誌》。這所舊宅，名“春草閑房”，距今已三四百年。梁溪孫伯亮，偶於冷攤購得一玉印，鐫刻高古，赫然為“春草閑房”四白文，聞伯亮今尚珍藏。吳湖帆在上海嵩山路的寓所，為兩幢三層樓的西式屋子，畫室和臥房都在樓上，樓下空著，便賃給他的稔友許窺豹居住。這樣直到他逝世，沒有遷移過。斜對門便是馮超然的畫寓，稱為“嵩山草堂”，兩人都精於畫藝，桃李門牆，蔚然稱盛。湖帆的外甥朱梅村，擅畫人物仕女，也住在附近。
湖帆交遊甚廣，對冒鶴亭、葉遐庵尤為崇敬。葉遐庵在滬時，經常來吳家，遐庵以書名，有時也畫鬆，往往請湖帆添加數筆，以求蒼潤。看到湖帆用的書畫筆，什九不開足，遐庵輒把它濡化開來，對湖帆說：“筆毫必須放開，著紙才得酣暢，寧可大才小用，切莫小才大用。”有人贈茅龍筆一支寄遐庵，遐庵不能掌握，便轉送了湖帆。抗戰勝利，湖帆無端被軍人湯恩伯軟禁於錦江飯店數日，苦悶得很，幸由遐庵為之設法，才恢複自由。
湖帆的畫藝，為有目所共賞。我曾為他作一小傳，談及其畫，如雲：“揮灑任意，入化造微，絳蓮翠竹，如宛洛少年，風流自賞。山水或疊嶂崇巒，而不覺其滯重；或遙岑荒，而不覺其寥簡。煙雲縹緲，虛實均饒筆墨。托興作金碧樓台，錯采鏤華，極其縝麗，卻一洗俗氛佇氣，而別含古趣。偶臨內府走獸，虯髯胡兒，控一驥足，雄邁超越，比諸韓幹之照夜白與玉花驄，毋多讓焉。……”湖帆畫以山水為多，花卉次之，畫走獸較少。一次，作《五牛圖》，或仰或俯，或正或側，線條剛柔兼施，非能手不能辦。後贈其弟子黃秋甸。湖帆畫翎毛，也是少見的，陳巨來所藏湖帆扇中，一柄以朱砂加西洋紅畫一綬帶鳥，棲於雙勾翠竹上，精麗無匹。又有《荷花翠鳥》幅，為方幼庵所藏。幼庵尚藏有湖帆舊物，如董香光所臨李北海《大照禪師碑》、柳誠懸《清淨經》，仿歐陽詢、褚河南書哀冊，仿薛稷、懷素、米南宮、趙鬆雪、蘇長公、蔡端明等各家書卷。湖帆有跋雲：“是卷初藏裴伯謙，後歸吳漁川，漁翁專收董書，集其精華數以百計，餘先後獲觀，亦二三十品，幾無一非精品。是卷歸慎庵方兄秘笈，方兄以金針醫術負盛名，而其長君幼庵，不但能傳其術，癖好書畫甚於乃翁，方兄遂授幼庵藏之。”凡此瑣瑣，都足以見湖帆的生平交誼。又湖帆與潘永瞻相熟稔，潘藏有湖帆所作《輞川詩意》扇裱成冊頁，請黃秋甸為題，秋甸遲遲未著筆，而十年內亂中，潘家被抄，文物蕩然，這扇在秋甸處，卻得留存，永瞻對此益加珍視。湖帆精品，有摹《畫中九友》筆法而成的小冊頁，自謂生平得意之作，後歸“安持精舍”的陳巨來。又為王季遷作八尺長五寸高兩手卷：一仿元四家，一仿明四家，聯翩著筆，一氣貫之，而自成各種筆法。如仿元四家，第二段崇山峻嶺，為黃鶴山樵，將及第四段時，筆乃漸疏而為平原遠坡，居然雲林了。季遷遠渡重洋，挾之而去。湖帆頗喜為人作圖，如為錢鏡塘畫《小方壺圖》，為冼玉清畫《琅玕館修史書》，為周煉霞畫《螺川詩屋圖》，為尤墨君畫《塔西擲筆圖》，為許窺豹畫《今雨樓圖》，為吳小鈍畫《慧因綺夢圖》，為陸頌堯畫《隴梅圖》，為俞子才畫《石湖秋泛圖》，為孫鴻士畫《雙山遊屐圖》，為關穎人畫《梅花香裏兩詩人圖》，為汪旭初畫《碧雙棲論詞圖》，為冒鶴亭畫《水繪園圖》，為葉遐庵畫《夢憶圖》，為沈寐叟畫《海日樓圖》，為王栩緣畫《小孤山圖》，為吳臒庵畫《霜填詞圖》，為蔡巽堪畫《梅花草堂填詞圖》，為楊鐵夫畫《桐蔭勘書圖》，為陸蔚亭畫《秋夜讀書圖》，為我畫《紙帳銅瓶室圖》。以上許多作品，經過內亂，有的毀失了。某年夏暑，筆者持一章太炎篆書扇往訪湖帆，湖帆看到這扇一麵尚屬空白，便就扇頭繪一綠萼梅。又有一次，他繪一紅梅橫幅，上題《折紅梅》詞一首，問我“折紅梅”之“折”字，您覺得有否忌諱？我答以什麼都不忌諱，他就把這幅畫脫手見贈。實則他也是百無禁忌的。一度木刻書畫潤例單，刻成扁宋字，他問我是不是類於訃告。在抗戰和勝利時期，物價不穩定，經常上漲，所以潤例逢到節日，往往蓋上印章，節日後照例增加若幹。許多箋扇莊投機取巧，動輒在節前預定單款數百件，先付潤資。等到他潤例增加，箋扇莊便保住利潤而比較低於潤例者出讓，生涯大好。湖帆乃定單款倍潤，藉以抵製。