愛爾莎隻在一點上要求嚴格，為了避免重蹈米列娃的覆轍，她要求愛因斯坦在感情上絕對專一。如果遇到女人的勾引，愛因斯坦要幹脆徹底不留餘地地拒絕，並且要向她坦白。
甜蜜總是短暫的，幾年之後，愛因斯坦便發現無法信守忠貞，最關鍵而無情的事實是愛爾莎老了，當她和女秘書站在一起，在社交場合跟其他年輕的女性站在一起時，她鬆弛的肌膚，笑起來滿臉的皺紋尤其刺眼。
1927年，愛爾莎的父親離世，愛爾莎帶著孩子回家奔喪，又趕上母親生病，一住就是兩年。愛因斯坦在瑞士獨居的這段時間，他和他的女秘書紐曼發展成了情人關係。
聰明的愛因斯坦知道如何能打消妻子的疑慮，獲得妻子的原諒。在一封寫給愛爾莎的信中，他提到了紐曼陪自己去海外旅行：“紐曼完全是按猶太基督教的道德行事的：第一，人們應該享受快樂，同時不傷害他人；第二，人們不該做自己不喜歡而且也令別人討厭的事情。她就是這樣的人，她陪我旅行，符合第一點。她沒有把這事告訴你，這符合第二點。難道她不是無可指責的嗎？”
當愛爾莎看到丈夫的信時，氣得直發抖，她真想把信給撕了，最好愛因斯坦就在眼前，她好把撕碎的紙片撒他一臉。但愛爾莎在回信時沒有痛斥愛因斯坦，她忍著巨大的心痛表揚誇獎了愛因斯坦的坦白，她把問題歸結在作為妻子卻沒有履行妻子義務的身份缺失。
有哲學家曾經說過：“這世上隻有不出軌的男人，沒有隻出軌一次的男人！”如果男人按此定義來分的話，愛因斯坦顯然屬於後一種。由於坦白後得到了愛爾莎的寬容，愛因斯坦居然把每一段戀情都對愛爾莎坦白了。除紐曼外，他總共還與另外6個女人有染：蘇聯間諜瑪加麗塔、富有的花店主埃斯戴拉、社交名流埃特爾，猶太寡婦多妮，還有兩人則在信件中被簡寫為M夫人和L夫人。他和她們共度假日，帶她們去聽音樂會，還在床邊讀書給她們聽。
雖然表麵上愛爾莎原諒他了，之後愛爾莎也沒有指責，但顯然兩人在一起後，關係大不如前了，磕磕絆絆的矛盾時有發生。如果不是深愛著自己的丈夫，誰能容忍得了一個又一個桃色緋聞的發生？愛爾莎用她的寬容證明著她對愛因斯坦的愛。但愛因斯坦並不理解，他在跟其他女性交往時表示：“這是一次不成功的婚姻，但由於某種偶然維持下來，這中間包含著憐憫！”
1933年，掌握著德國政權的希特勒開始迫害猶太人。愛因斯坦在德國的家被搜查，所有的財產全被沒收，一些親友們被虐待至死。愛因斯坦公開發表聲明，科學家們在法西斯麵前不應當保持沉默，他號召全世界的青年人共同反對納粹。由於他的反戰言論，他被納粹懸賞追殺。
這時，愛因斯坦所有的情人都求自保棄他而去，他的間諜情人甚至想跟別人合夥把他賣個高價。唯有一身是病的愛爾莎在他身邊不離不棄。然而由於東躲西藏風餐露宿，1933年底，愛爾莎在跟愛因斯坦一同逃往英國的旅途中去世。
晚年的愛因斯坦對他年輕時的風流情事以及對兩任妻子的背叛和傷害，覺得既慚愧又不堪回首。逝世前，他要求保管他信件的繼女瑪格特不要公開那些隱藏著他風流情事的信件。科學界巨人不希望成為世人眼中的花花公子。
瑪格特逝世前，把這些信件贈送給希伯來大學，同時她提出要求：在她死後二十年才能將信件內容公開。2012年5月，希伯來大學解密了愛因斯坦從1912年至1955年的1300多封往來信件。另外，還有2200多封信件依然封存，不知道還有多少這位偉人的風流秘事，在時間的罅隙裏等待著被世人知曉。