這段時候，賴雅的獨生女兒霏絲有時到舊金山來探望老父。她是一個能幹而精力充沛的女人，正在華盛頓芭蕾學校中任行政管理員和教師。她有三個十多歲的兒子，最大的兒子捷樂米快要讀大學了。賴雅年輕時對家庭生活毫不在意，到此時已頗有悔意。他十分樂於享受兒孫滿堂的幸福。常常津津有味地看著他們的遊戲，對他們七嘴八舌地講的學校裏的趣聞也很有興趣。然而，對他們的家庭聚餐，愛玲是極少參加的，愛玲從小就是深受“後母”之害的。沒有想到，幾十年後，自己也成了“後母”。而且，這個“後母”是如此的特殊，年齡幾乎與女兒一般大。由於年齡上的相仿，兩人對賴雅的感情或多或少有些對立感。因此，愛玲不希望過多地和霏絲正麵接觸。
很久以來，愛玲一直在醞釀著一個計劃。當然，在沒有成熟之前，她是不會對任何人講的，包括賴雅。早在兩年前，她就曾跑到英國海外航空公司(British Overseas Airway Corp)打聽去香港的費用。經過很長一段時間的思想鬥爭，愛玲還是決定向賴雅提出她“東方之行”的計劃。愛玲來美國多年，作品的銷路一直不好。她的英文小說在美國和英國都未找到出版商，僅《北地胭指》例外。可想而知，每一封退稿信對愛玲的打擊。當時，宋淇所在的電影公司約請她去寫劇本。而她目前正在計劃的新英文小說《少帥》也需要收集資料。而且，當時他們的生活正陷於窘迫之中。固定收入隻有兩人數目甚小的版稅費和賴雅的一點社會保險金，其收入不足以維持最低生活水準。愛玲覺得，重返香港，說不定能擴大財路。
“愛玲，我決不能讓你走！我離不開你的。”賴雅企求她。此刻，他正大病初愈。
愛玲的心在顫抖。她確實放心不下賴雅。但是，她要對自己負責，對這個家庭的未來負責，她說服自己要鐵下心來。
那天，愛玲用了整整一個晚上時間來說服賴雅。她把自己的想法對賴雅和盤托出，推心置腹。最後，賴雅不得不同意了。
愛玲走後，賴雅怎麼辦。愛玲曾提議他跟他們在舊金山的好友約·培根和愛麗斯·琵瑟爾在一起，但賴雅怕連累他們而拒絕了。同時，賴雅向亨亭頓·哈特福文藝營提出申請，但是遭到了回絕。他又給女兒霏絲寫信，希望能到她身邊去。賴雅曾把這封信讓愛玲看，其言辭的懇切，讓人動容。賴雅似乎覺得，整個世界都在拋棄他，不禁悲從中來。他又是大病一場，腿上的疼痛擴散到了背部，整個身體都覺得刺痛。愛玲知道，這都是由於她的原因，她的要求給了賴雅太大的精神上的刺激。幾天後，霏絲回信說，他可以住到華盛頓她家附近。這多少給了賴雅一絲安慰。
接下來的日子，他們都在忙碌著，為著各自的旅行作準備。然而他們的心情各不相同，對愛玲而言，前途是充滿了信心的；對賴雅而言，則不免是英雄老去，黯然神傷。
愛玲走的那一天，賴雅去機場送她。望著飛機越來越遠，消失在天際雲間。賴雅有一種悵然若失的感覺。他忽然有一種預感，覺得愛玲可能不會再回來了。“此去經年，應是良辰美景虛設。”
1961年的秋天，張愛玲悄悄來到了台灣。她一來是為劇本看外景，同時為她計劃中的《少帥》收集一些資料，“西安事變”之後，少帥張學良就長期被蔣介石軟禁在台灣。
張愛玲到台北後，將住在台北美國新聞處處長麥加錫的家裏。那是一幢在陽明山公園附近巷子裏的大別墅，從仆如雲。
麥加錫知道有許多大學生喜愛張愛玲的作品，特意安排了台灣大學的幾位文學青年歡迎張愛玲，其中有白先勇、歐陽子、王父興、王禎和、陳若曦等。張愛玲與麥加錫夫婦尚未抵達餐廳前，席間一位太太猜測說：“我們大家都沒有見過張愛玲，大家來想想她是什麼樣子。我曾經問過麥加錫先生，他說張愛玲很胖很邋遢。究竟有多胖多邋遢？”（張愛玲在台灣的經曆根據當事人王禎和先生的回憶。詳見王禎和、丘彥明：“在台灣的日子”，《永遠的張愛玲》）一聽之後，大家都覺得有點失望。
就在這時，張愛玲出現了，大家眼睛一亮，哪裏邋遢？幹幹淨淨的，高高瘦瘦的；而且一點都不胖，雖然不是頂漂亮，卻是“可看性”很高。於是大家後來戲稱麥加錫先生是“效率專家”，因為他的“手法”，使他們覺得張愛玲是加倍的美。當事人曾這樣回憶張愛玲“她很少說話，說話很輕。講英語，語調是慢慢的”。