愛玲當時心情的絕望是可想而知的。多年來在英語世界創作的失敗，使她對母語世界存在著一絲希望。可是，這次被她寄予希望的東方之行被殘酷地證明是失敗的。愛玲再也找不到昔日的輝煌了。她感到了一種更深層意義上的、刻骨銘心的被放逐。
正月十五元宵節的前夜，愛玲獨自站在公寓頂站的黑暗中。天上有一輪滿月，靜靜輝照人間。遠處九龍遠遠近近的公寓萬家燈火輝煌……愛玲感到一種深入骨髓的落寞。清淚潸然，滴上襟袖。天涯何處才是家園呢？中國古詩中說“獨在異鄉為異客，每逢佳節倍思親”，可是，除了遠在天邊的賴雅之外，還有誰會惦念著她呢？何況，她的許多心事和痛苦，賴雅也是理解不了的。
愛玲走回臥室，撕開了賴雅剛剛寄給她的信。賴雅還是在催愛玲早些回去。他希望他們能像結婚後在美國度過的快樂時光，因此建議他們一起去紐約玩幾天。愛玲知道，賴雅隻要讓她快樂，從不吝惜多花錢。但她還是寫信表示，應該盡量節約開支，她建議賴雅陪她觀光華盛頓。
香港之行，讓愛玲覺得筋疲力盡，身心交瘁。她終於下定決心回去了。1962年3月16日，張愛玲搭上了飛往美國的班機。在此後的三十多年裏，愛玲再也沒有踏上過這塊曾經那麼熟悉的土地。
“輕輕地，我走了，正如我輕輕地來。我輕輕地揮一揮手，作別西天的雲彩。”
再見，香港！再見，中國！
愛玲終於要回美國了，最興奮的當然是賴雅。從3月16日起，賴雅就在日記中寫下了“愛玲離港之日”的字樣，期待著她的早日歸來。
按照原計劃，愛玲該在18日到達，可是賴雅17日就一個人跑到了候機大廳，從朝陽初升一直等到日落黃昏。真的，他多麼盼望奇跡能夠出現。他一天都不願意再等待了。第二天，他與霏絲一起去機場接愛玲。當愛玲迤迤然地從飛機上下來時，賴雅使勁地朝她揮手。默默相望，他們都激動得說不出話來。萬語千言，化成為一句話：“我們再也不分開了！”
那一天，風很大，但是他們走在街上，卻覺得彼此心裏都暖融融的。他們一起暢遊了國會大廈和國會圖書館。愛玲不禁對這些建築的富麗堂皇歎為觀止。
回到家，賴雅已經準備了咖啡和麥片粥。愛玲又為自己炒了蛋，一時，香氣溢滿了整個小屋。愛玲覺得有些倦了，就斜倚在沙發上，看著賴雅在認認真真地做漢堡包及沙拉。就在飯菜端上桌的那一瞬間，愛玲覺得有一種幸福溢上心頭。有“家”真好。家是一個最溫暖的避風港灣。隻要撲在家的懷抱裏，所有的委屈、辛酸，都是可以消解的。愛玲興致勃勃地向賴雅講述著“東方之行”的種種際遇。當然，她巧妙地隱去了那些失意、心酸與不快。
那時候，他們租的“皇家庭院”(Regal Court)離霏絲家挺近。愛玲與霏絲年齡相近，但在關係上總覺得有些微妙，似乎親近不起來。愛玲從小就是最痛恨後母的，沒想到，現在自己居然也成了“後母”。生活多少帶有一點幽默諷刺的色彩。因此，霏絲夫婦盡管經常邀請他們用餐，但通常是賴雅一個人去的。即使是感恩節、複活節等節日也不例外，這多少讓賴雅覺得有些不快。愛玲還是更願意一個人待在家裏弄點東西吃。
賴雅在國會圖書館申請了一個桌位，每天從早開始在那兒辦公。愛玲申請到的桌位離賴雅的很近，她便在那兒查找一些寫作《少帥》所需要的書。在絕大多數的時間裏，她還是更加習慣於在家裏寫作。
冬天在不知不覺中來臨了。這一年，華盛頓的冬天特別的寒冷。12月份的一天，大雪蓋地，賴雅在步行去圖書館的途中，冷得發抖，膝蓋幾次幾乎扭傷。回來之後，冷得在床上直打哆嗦。他不能像往常一樣出去雜貨店購物了。愛玲穿上大衣，圍上厚圍巾代賴雅出去了。