他把現在的第三位夫人稱作是嬌妻、愛妻。他說：“我的婚姻經曆過生離死別，第一位夫人早早去世了，叫‘死別’，第二位夫人和我離婚了，叫‘生離’，這位六十八歲的第三位夫人徐迎春是日本華僑，祖籍山東，出生在遼寧。”
20世紀40年代後期，已有夫人的文懷沙伴著一個女學生進入解放區，這個女學生後來成了他孩子的母親。在解放區，文懷沙熱情地投入到轟轟烈烈的革命運動中，但他與這位女子的婚姻生活沒有維持多久，就以失敗宣布結束。
生命中一定要有激情，而美人是可以讓人激動的。我說的美人不是說一張漂亮的臉，而是美好事物的標誌。我所留戀的美是自然的，是生命現場。
生平隻有雙行淚，半為蒼生半美人。——文懷沙。
解放以後，一位家境富有的醫院大夫狂熱地愛上了文懷沙。
有一天晚上，她留在文懷沙家裏沒有回去。文懷沙多情，但他也非常封建，用他的話說就是“那天晚上，我們有擁抱，也有kiss（接吻），但是不見於亂”。而女孩子一夜未歸宿也使得女孩兒家人的判斷她一定失身了，大罵文懷沙是流氓。那個女孩兒在三月三那天服毒自盡了。從此以後的幾十年間，每年的三月三他都會閉門謝客，靜坐一日，用這種方式紀念為他舍棄生命的心上人。
文懷沙：人家問孔子，有沒有終身可以奉行的一句話？孔子說，那就是“恕”吧。這個“恕”絕不是簡單的“Excuse”，不是。恕，嚴格講就是八個字，“己所不欲，勿施於人”。人能做到這點很不得了。自己不願意的事情，不要強加到別人身上。比方美國雖然對我不錯，但是我覺得他有時候強加給別人，有的國家要發展什麼原子，他要去管。那麼你自己呢，你自己不願意的事情，你要強加給別人，如果別人對你這樣，你受得了嗎？什麼事情你能夠經常想到叫慎獨，很謹慎的，沒有人的時候自己來監督自己，這個監管會在自己這兒。
許戈輝：那我正好就想問問您有關這個“恕”字的。在您的這一生裏，有沒有過讓您覺得不能饒恕之人，不能寬恕之事？
文懷沙：我覺得什麼人都要有無所不包的胸懷，但是有一樣東西，包藏禍心不行。就是我在容納你的結果，結果你製造的罪啊，你的罪孽算到我頭上的，對不對。就是對你這個行道，在正道裏頭，這個包容量要很大。那如果在個人感情生活裏，我看包容更大。
比方與我離婚的女人，她為什麼離婚？一定鬧架嘛。為什麼我會跟她鬧架？因為她是我妻子我才跟她鬧架。那麼怎麼變成妻子？我戀愛過了，我跟她結婚了。我愛過的女人，因此這個女人曾經對我柔情似水，我才會娶她當妻子。後來分開了，這個柔情過去了，那麼她留給我的是兩個遺產，一個是愛，她曾經愛過我，一個是後來又曾經跟我翻臉。她既有柔情似水、脈脈含情的眼睛，也有柳眉倒豎、杏眼圓翻的形象。我隻記愛，不記恨；我隻記恩，不記仇。並不是我寬恕別人，而是這樣我心裏舒服啊。我不能老想著這個人的毛病，一天到晚想誰得罪我了，誰給我使絆兒了。
“文革”中，曾經有人害了我，後來他的孫子考學校要我幫忙，我去幫，我家裏人都反對，因為他的爺爺害過你。我說這是兩筆賬，孫子不等於爺爺，爺爺害我，有我的原因的，因為我確實跟他過不去，這是一點；第二點呢，他爺爺從前對我也有好處，曾經在我困難的時候幫過我，所以才會變朋友。他利用我們的友情，後來又做了對不起我的事情，但他人已經死掉了，人死不記仇。這個並不是對別人寬恕，對自己也是寬恕。因為我這樣心裏才活得舒服，如果我天天一腦門子都是官司，這個仇人，那個敵人，到處製造了很多不是敵人的敵人，還不如廣交朋友，我的朋友遍天下。
你住在家裏，你也可以像有的旅客一樣，在彷徨。你住在旅店裏，也像是在我的世代老家裏頭住一樣安靜。——文懷沙。
文懷沙在位於北京東三環的一個賓館裏已經生活了二十多年，兩間客房一間做起居室，另一間“文化（諧音‘懷’）沙龍”是他每天會見客人的地方。這個賓館就是他的家。
文懷沙：我現在經常住在賓館裏頭，家裏不住的。“天地者，萬物之逆旅”，這是我的趣味。天地就是一個旅館，這裏從老總開始到門崗，到服務員，到花匠，到衛生員，個個跟我好，你可以去了解這裏的民意。我一走進來，哎呀，人家的眼睛看著我，我一走路，都想來攙我。我就說，我不是七老八十，但是我是帶著感激，我覺得我在這個旅館裏頭，“天地者，萬物之逆旅；光陰者，百代之過客”。而在旅館裏頭，我已經感到賓至如歸的感覺，我很舒服。