1954年6月，林徽因當選為北京市人民代表大會代表。同年秋天，林徽因病情加重，搬到陳占祥家中暫住。不久之後，林徽因病危，接著便住進了同仁醫院。
1955年春節後，建工部召開了設計和施工工作會議，各部、局的領導和北京市委宣傳部門的負責人參加了這次大會。會上根據近年來各報陸續披露的基本建設中的浪費情況和設計工作中的“複古主義”、“形式主義”偏向，進行了激烈地討論和批判，並且還組織了一百多篇批判文章，已全部打好了清樣。從此，關於“以梁思成為代表的資產階級唯美主義的複古主義建築思想”的批判，在全國展開了。1955年1月，梁思成因感染肺結核住進了同仁醫院。緊接著，林徽因也住進了梁思成隔壁的病房，梁思成病情稍有好轉後，每天都到林徽因病房中陪伴她。此時，他們的兒女也都請了假，輪流過來陪她。
他們的女兒梁再冰回憶，到3月底，林徽因一直發著高燒，昏迷不醒。醫院組織了最有經驗的醫生進行搶救，可是，她的肺部已經大麵積感染，身體極度虛弱，生命已到了油盡燈滅的時候。1955年3月31日晚上，梁再冰接到醫院打來的電話：林徽因病危。她馬上趕了過去，這時的林徽因已經是昏迷不醒了。隔壁病房的梁思成被攙扶進來，握著林徽因的手痛哭不止。3月31日的深夜，處於彌留狀態的林徽因突然用微弱的聲音對護士說，她要見一見梁思成。護士回答：“夜深了，有話明天再談吧。”然而，林徽因已經沒有力氣再等待了，1955年4月1日清晨6時20分，林徽因靜悄悄地離開了人間，享年51歲。她最後的幾句話，竟沒有機會說出。
同一個清晨，醫生和護士全力搶救昏迷的林徽因時，梁思成被扶到了林徽因的病房，哭得不能自已，坐在林徽因的床邊隻是重複著：“受罪呀！受罪呀！徽因你真受罪呀！”
同年4月，一向冷靜而理智的金嶽霖也悲傷得肝腸欲斷，在辦公室裏，他留下了自己的學生周禮全，當整間辦公室隻剩下他們兩個人時，金嶽霖先是沉默，後來突然說：“林徽因走了！”他一邊說，一邊號啕大哭，周禮全回憶說：“他兩隻胳臂靠在辦公桌上，頭埋在胳臂中，他哭得那麼沉痛，那麼悲哀，也那麼天真，我靜靜地站在他身旁，不知說什麼好。幾分鍾後，他慢慢地停止哭泣……擦幹眼淚，靜靜地坐在椅子上，目光呆滯，一言不發。”
同一個春天，聽聞噩耗的蕭乾立即給梁思成去了一封吊唁信。蕭乾為林徽因的早逝而歎息：“這位出身書香門第，天資稟賦非凡，又受到高深教育的一代才女，生在多災多難的歲月裏，一輩子病魔纏身，戰爭期間顛沛流離，全國解放後隻過了短短六年就溘然離開人間，怎能不令人心酸！”
4月2日，《北京日報》刊登訃告，張奚若、周培源、錢端升、錢偉長、金嶽霖等十三人組成治喪委員會。林徽因的追悼會在金魚胡同賢良寺舉行。眾多的花圈和挽聯中，金嶽霖、鄧以蟄聯名題寫的別具一種熾熱頌讚與激情飛瀉的不凡氣勢：一身詩意千尋瀑，萬古人間四月天。
林徽因去世之後，北京市人民政府把她安葬在八寶山革命烈士公墓。梁思成親自為她設計了墓碑：把她親手設計的一方漢白玉花圈刻樣移做她的墓碑。墓體樸實、簡潔，體現了她一生追求的民族形式。也許是天意吧！林徽因1955年去世，因其參加國徽和人民英雄紀念碑設計有貢獻，建墳立碑，安葬於八寶山革命公墓二墓區。梁思成“文革”中含冤去世，“文革”後平反，因其生前是全國人大常委，骨灰安放於黨和國家領導人專用骨灰堂，跟林徽因墓隻一箭之遙。最後去世的金嶽霖，骨灰也安放於八寶山革命公墓。他們三個，在另一個世界裏，又毗鄰而居了。金嶽霖從人間帶去的話，終有機會跟林徽因說了……