但他和麗琳一起生活的日子沒多久就走到了盡頭。林徽因的出現，徹徹底底地改變了他的生活。
林徽因與梁思成結婚後，搬到了北京總布胡同24號院居住。她才華出眾，容貌殊麗，氣質端莊嫻雅，善於言談，與丈夫梁思成都是當時文化圈子裏的名人。因此，就在那個24號院裏，時常聚集著一大批來自不同學科領域卻又是當時文化學術界最一流的學者名流。如大學者胡適、大詩人徐誌摩、小說家沈從文、美學家朱光潛、散文家葉公超、考古學家李濟、政治學家張奚若、經濟學家陳岱孫、物理學家周培源、社會學家陶孟和，後來又不斷有人加入。他們一到周末就聚集到林徽因家裏，聚餐談論，很是熱鬧。
1931年的一個平常的日子，在好友徐誌摩的介紹下，他生平第一次邁進了總布胡同24號的大門。在那裏，那個安靜時如處子一般、辯論時如富有智慧的神奇百靈鳥一般的女子將他的心深深地打動了。她就是那個被人們稱為民國四美之一的林徽因，就是那個被張幼儀稱為“思想更複雜、長相更漂亮、雙腳完全自由的女士”。從此以後，終其一生，他的心中再也沒有片刻抹去過這個令人心醉而悵惘的女人。
沒過多久，金嶽霖就搬到了總布胡同12號，成了梁思成、林徽因文化沙龍最忠實的座上賓。當時費慰梅、費正清夫婦也住在總布胡同，與梁氏夫婦沙龍上的人都是老友。多年後費慰梅回憶說：“徐誌摩的朋友、大家都叫他‘老金’的哲學家金嶽霖，實際上是梁家一個後加入的成員，就住在隔壁一座小房子裏。梁氏夫婦的起居室有一扇小門，經由‘老金’的小院子通向他的房子。通過這扇門，他常常被找來參加梁氏夫婦的聚會。到星期六的下午老金在家裏和老朋友們在一起的時候，流向就倒過來了。在這種時候，梁氏夫婦就穿過他的小院子，進入他的內室，和客人混在一起，這些人也都是他們的密友。”
往後的數十年間，梁氏夫婦搬到哪，金嶽霖就跟到哪裏，還把這種孩子般倔強的舉動稱為“逐林而居”。直到多年後，林徽因夫婦都已作古，他還和他們的兒子梁從誡住在一起，被梁從誡親切地呼為“金爸”，如同一家人一般。歲月飄逝，青春不再後，金嶽霖曾感慨地說“他們（梁思成夫婦）住前院，大院；我住後院，小院。前後院都單門獨戶”，又說自己“一離開梁家，就像丟了魂似的”。
作家蕭乾後來充滿敬意地說：“林徽因坦蕩，金嶽霖克製，梁思成寬容，三人皆誠信磊落之君，沒有見過這樣的‘三角’。”那是一種真愛、大愛才能有的勇氣和力量。
二、一生極愛欲何詞
金嶽霖對林徽因的愛意雖然克製，但日漸濃厚。林徽因對這個固執如磐石、單純如孩子、瀟灑如魏晉人物、學術進深如爐火純青的男人亦是充滿了欣賞、愛慕之情。
梁思成後來憶起這個“一生的情敵”時說：“我們住在總布胡同時，老金就住在我們家的後院，但另有旁門出入。可能是在1932年，我從寶坻調查回來，徽因見到我時哭喪著臉說，她苦惱極了，因為她同時愛上了兩個人，不知怎麼辦才好。她和我談話時一點不像妻子和丈夫，卻像個小妹妹在請哥哥拿主意。聽到這事，我半天說不出話，一種無法形容的痛楚緊緊地抓住了我，我感到血液凝固了，連呼吸都困難。但是我也感謝徽因對我的信任和坦白。她沒有把我當一個傻丈夫，怎麼辦？我想了一夜，我問自己，林徽因到底和我生活幸福，還是和老金一起幸福？我把自己、老金、徽因三個人反複放在天平上衡量。我覺得盡管自己在文學、藝術各方麵都有一定的修養，但我缺少老金那哲學家的頭腦，我認為自己不如老金。於是第二天我把想了一夜的結論告訴徽因，我說，她是自由的，如果她選擇了老金，我祝願他們永遠幸福。我們都哭了。過幾天徽因告訴我說：她把我的話告訴了老金。老金的回答是：‘看來思成是真正愛你的，我不能去傷害一個真正愛你的人，我應當退出。’從那次談話以後，我再沒有和徽因談過這件事，因為我相信老金是個說到做到的人，徽因也是個誠實的人。後來的事實也證明了這一點。所以我們三個人始終是好朋友。我自己在工作上遇到難題，也常常去請教老金。甚至我和徽因吵架也常要老金來‘仲裁’，因為他總是那麼理性，把我們因為情緒激動而搞糊塗了的問題分析得清清楚楚。”
盧溝橋事變後，林徽因夫婦一起隨大家搬到了昆明，在昆明北郊龍泉鎮棕皮營建造了一所簡單的房子，金嶽霖則在這所簡單房子一旁強搭建了一所更矮的房子。金嶽霖的房子矮小狹窄不說，連門也沒有一個，進進出出都要穿過梁家的廳堂，儼然是一家人了。
梁思成與林徽因留學時期都學習的是建築學，回國後也從事建築學的研究，是中國現代建築學的奠基人。金嶽霖時常見到梁思成爬上高高的建築屋頂測量數據，日子久了，就送了一副對聯給他們夫婦：梁上君子，林下美人。梁思成一聽，來了興致，高興地說：“我就是要做‘梁上君子’，不然我怎麼才能打開一條新的研究道路，豈不是紙上談兵了嗎？”可林徽因不答應了，虎著臉說：“真討厭，什麼美人不美人，好像一個女人沒有什麼可做似的。我還有好些事要做呢！”金嶽霖聽了不以為忤，反倒大為讚賞，其中的愛意也更深了一層。