人生最悲哀的是白發人送黑發人，對林語堂夫婦也不例外。早在1962年林語堂夫婦訪問中南美洲六國之前，長女林如斯就因病住院治療，林語堂夫婦幾乎放棄這次出訪。但林如斯對父母說自己會照顧好自己，說得很誠懇。林如斯患了嚴重的精神憂鬱症，情緒時好時壞，好的時候像正常人一樣。她在一家出版公司工作，在工作之餘試譯唐詩。她是姊妹三個中藝術天分最高的，她不僅是長女，而且繼承了林語堂的遺傳基因，才華橫溢，知父莫如女，對林語堂的《京華煙雲》之理解，可謂一點靈犀。從她寫的《關於〈瞬息京華〉》一文中就能看出其才華的不同非凡。然而，當情緒不好的時候，就跌入了個人悲哀的天地，感覺到世界的末日就要到來，林語堂夫婦無論怎樣勸解都沒用。在紐約時，林如斯就搬到父母所住的公寓大樓的隔壁，為了照顧這個可憐的女兒，林語堂把牆壁打通。女兒的憂鬱症使林語堂和廖翠鳳感到很大的精神壓力而又無可奈何。
林語堂夫婦到台灣陽明山居住後，不放心在香港的林如斯，雖然在香港有其他姊妹在一起，但林太乙和小女林相如都忙於自己的工作，不可能像自己那樣有時間照顧她。可憐天下父母心，經過一番做工作，他們終於把林如斯接到了台北。因林語堂與台灣“故宮博物院”院長蔣複璁是至交，林如斯就到了“故宮博物院”工作。最初她擔任蔣複璁院長的英文秘書，後來又主編該院出版的英文《故宮展覽通訊》，還編譯了《唐詩選譯》，交給台灣中華書局印行。林如斯在台北上班，但吃住都在“故宮博物院”的職工宿舍，不肯住進陽明山麓的父母家。她可能盡量不給父母添麻煩，因為一旦情緒不好，就會呈現出無比焦慮的症狀，甚至好像迷失了自我，與現實完全脫節。她也極力想克製自己，不願表現出反常的行為，可是這些都不是自己能控製得了的，她戰勝不了自我，隻能在不由自主的狀態下，沉浸在痛苦的深淵裏。
女兒的不幸像病魔一樣折磨著林語堂夫婦。不幸的事情還是發生了。1971年，林語堂因中風的初期征兆住進了醫院，後來出院了。一天中午，蔣複璁請林語堂在“故宮博物院”吃飯，有人跑來說，工人在打掃林如斯的房間時發現她吊在窗簾杆上，抱下來時已經斷氣了，而桌子上的茶還是溫的。
林語堂在這巨大的悲劇麵前精神幾乎崩潰了！林太乙和黎明及林相如接到噩耗後急忙從香港趕來。林太乙後來回憶了當時的情景：
……走進家裏時，父親撲到我身上大哭起來。母親撲在妹妹身上也大哭起來。頓時我覺得，我們和父母親對調了位置，在此以前，是他們扶持我們。現在，我們要扶持他們了。那“坦率、誠懇、樂觀、風趣；懷著一瓣未泯的童心，現實主義的理想家；滿腔熱情的達觀者”變成一個空殼子，姐姐掏去了他的心靈。那時父親是七十六歲，母親比他小一歲。我們把兩老送進醫院，他們哭哭啼啼地對彼此說：“我們不要再哭了，我們不哭了。”姐姐留了遺書給父母說：“對不起，我實在活不下去了，我的心力耗盡了。我非常愛你們。”
林太乙的堂兄嫂們協助辦理了林如斯的後事。為了讓兩位老人靜一靜心，林太乙把他們接到了香港。廖翠鳳從此精神恍惚，經常自言自語：“我活著幹什麼？我活著幹什麼？”或者不說話。林語堂內心的傷痛壓倒了他，可為了不給孩子們看出來，勉強擺出笑臉。當林太乙問他“人生什麼意思”時，他說：“活著要快樂。”就再也說不下去了。後來，林語堂寫了一首詩《念如斯》：