1955年春，老金奉調到中國科學院哲學研究所籌備會，9月被任命為中國科學院哲學研究所副所長兼邏輯研究組組長。老金晚年在回憶從清華到哲學所這段生活時說：“解放後調整到北大。周培源先生說要我做北大的哲學係主任。我說我不幹，還說艾思奇擺在那裏，不去找他，反而來找我。周培源說：‘要你做，你就得做。’我就做起係主任來了。不久就有人當麵大罵我一頓。這樣的事，在舊社會不是開除他，就是我辭職。在新社會怎麼辦呢？不知道。結果他不走，我也不辭。事也辦不了，更談不上辦好辦壞。”又說：“到了哲學所，另一副所長張鏞說我應該坐辦公室辦公。我不知‘公’是如何辦的，可是辦公室我總可以坐。我恭而敬之地坐在辦公室，坐了整個上午，而‘公’不來，根本沒有人找我。我隻是浪費了一個早晨而已。這以後沒有多久，哲學所的同誌作出決議，解除我的行政職務，封我為一級研究員。顯然，他們也發現我不能辦事。如果我是一個知識分子的話，我這個知識分子確實不能辦事。”[87]
據查，老金所說的解除職務，是他的糊塗或者誤會，當時，哲學研究所領導無權解除老金的行政職務，事實上也沒有解除，隻是決定老金不必每天到研究所坐在辦公室裏無“公”可辦了。於是，老金在家中搞起了研究和寫作。
1956年6月10日，老金在北京飯店請客。老朋友接到通知後都納悶，不知請客緣由何在。待人到齊後，老金突然起身宣布：“今天是徽因的生日。”來者無不驚詫，並為老金的一片癡心真情所感動。
盡管老金心中一直思念著林徽因，但在感情的大海中有時也翻起點異樣的漣漪，投下另一種影子。據與金嶽霖相識的中共黨員、民盟中央副主席李文宜於1993年回憶，20世紀60年代後期，老金作為民盟中央常委，經常參加民盟組織的學習活動。在學習期間與同組的名記者浦熙修過從甚密，金常約浦到自己家中用餐。因為金家有一位高手廚師做得一手好菜，無論中西餐都讓金老滿意，也得到浦熙修的賞識。不久，他們便相愛了，並準備結婚。不巧的是，此時老金因病住院，浦熙修也確診患了癌症。當時正在批判彭德懷的右傾機會主義（南按：浦熙修的三妹浦安修是彭德懷夫人），同時得知浦熙修的女兒恰好又是彭德懷愛侄的未婚妻。在當時的曆史條件下，李文宜考慮到這兩代人的婚姻可能為政治問題所牽連，並且老金是黨員，又很單純，不一定了解這些情況的複雜性。於是，李便決定插上一手，在去醫院探望金時，她婉轉地勸老金“不要急於結婚，再考慮一下”雲雲，並將浦熙修的病情和她女兒與彭德懷侄子的關係說了出來。老金聽後認為此事非同小可，這是在政治線上的戀愛，弄不好要進大牢和砍頭的，於是立刻嚴肅地表態“這是件大事”，自己要慎重。出院後，老金便去看望浦熙修，想與對方一刀兩斷。而此時，由於病情發展很快，浦已臥床不起了。在政治的高度壓力下，老金的最後一次戀情如同西邊的晚霞，一閃而過，倏忽消失於西天的雲山霧海之中，以致一生都沒有結婚。對此，李說“這件事至今回想起來仍感到遺憾”。[88]
老金在婚姻問題上有“騎驢”搖擺的現象，但在政治追求上卻一點都不含糊，據可考的資料顯示，老金申請加入中國共產黨的具體日期是1956年9月29日，他在誌願書上寫道：“中華人民共和國成立後，人民確實站起來了。……在這樣一個人口眾多的大國裏，我認為我們非有相當多的人無條件地服從黨的領導、接受黨的任務不可。我要求把自己投入到這個偉大的革命建設潮流中，因此，我申請入黨。”同時，老金還寫道，有幾本馬列的書對自己影響很大，如《實踐論》《唯物論與經驗批判論》、斯大林的《辯證唯物主義和曆史唯物主義》《馬克思主義和語言學問題》等等。