錢瑗日後寫過一篇《爸爸逗我玩》，被楊絳收錄在《我們仨》中作為附。其中寫道：
他的拿手好戲還是編順口溜，起綽號。有一天我午睡後在大床上跳來跳去，他馬上形容我的樣子是“身是穿件火黃背心，麵孔像隻屁股猢猻”。我知道把我的臉比作猴屁股不是好話，就噘嘴撞頭表示抗議。他立刻又把我比作豬噘嘴，牛撞頭，蟹吐沫（鼓著腮幫子發出“噗噗”的聲音），蛙凹肚。我一下子得了那麼多的綽號，其實心裏還是很得意的。
爸爸還教我說一些英語單詞，如牛、貓、狗、豬什麼的。見還有潛力可挖，就再教我幾個法語或德語單詞。有朋友來時，他就叫我去賣弄。我就像八哥學舌那樣，客人聽了哈哈大笑。我以為自己很“博學”，不免沾沾自喜起來，連塌鼻子都翹起來了。
錢鍾書這次回來，原隻打算住一個暑假的。清華愛才，錢鍾書莫名其妙地離去令許多故交惋惜。他們已向當時清華的校長梅貽琦建議重新聘用錢鍾書，梅校長亦準許，大家都歡迎。但當時的外文係主任陳福田及其他幾人，因種種原因並不喜歡錢鍾書。錢鍾書聽聞母校重聘，便如“癡漢等婆娘”似的等學校聘書寄來。通常來說，清華教師聘書都在上學年第二學期由係主任或委托人送到本人手中，一般都在七月以前發放完畢。其他教師都已收到聘書，錢鍾書的聘書卻遲遲未到。而係主任陳福田，六月份便回老家夏威夷度假去了。
陳福田沒有就聘用錢鍾書的問題向係裏做任何交代，隻說會親自到上海錢家處理此事。直到十月份，西南聯大已開學三周，陳福田才姍姍來遲。錢鍾書明白，陳福田的來遲並非無心之失。他並不想在係裏做個不受係主任歡迎的人，便委婉地辭掉這場工作。陳福田則對他的請辭未有一句挽留。
錢鍾書沒了工作，一家人卻因此能夠團聚。錢鍾書對楊絳發願：“從今以後，咱們隻有死別，不再生離。”
二
上海的工作並不好找，錢鍾書有一段時間始終處於失業狀態。清華大學的師兄陳麟瑞此時在暨南大學做英文係主任，錢鍾書便向他求助。暨南大學英文係有位名叫孫大雨的教師，係裏對他有意見，師兄便想讓錢鍾書頂替他的職，錢鍾書一口回絕。戰爭時期，一職難求，一人失業往往意味著全家挨餓，錢鍾書斷不肯奪人生計。嶽父楊蔭杭不忍女婿無業可謀，便將自己在震旦女子文理學院的《詩經》課給他上。震旦女校的負責人愛惜錢鍾書的才華，便為他加了課。
每周幾節課的課時費並不夠家用，錢鍾書還兼了幾位闊家子弟的家庭教師。有位富貴哥兒得知錢鍾書愛讀書，便整日讓錢鍾書幫他選書買書，他自己倒不讀，全送了老師。錢鍾書得學生“資助”，雖然生活清貧，卻仍能逍遙讀書。他在買來的書上一一寫上“借癡齋藏書”，蓋上“借癡齋”的印章。
楊絳的小學教員也做得有聲有色。她不是教育專業出身，也沒有教小學生的經驗，但遇事總向同事請教，教學過程裏也常常思考，很快琢磨出一套教育孩子的方法。小學一年級的小孩子非常調皮，課堂上吵吵嚷嚷是常事，老師們對這幫小鬼非常頭疼。三堂課下來楊絳便能準確無誤地叫出每個孩子的名字。每當有小鬼淘氣，楊老師會點名批評，從不叫錯，孩子們一下子就被震住了，從此乖乖上課。她能摸得清每個孩子的脾性，也樂得與學生做朋友，孩子們都喜歡她。
她與同事們相處得也好。入職時楊絳履曆表“學曆”一欄填的是“東吳大學”，有同事認識錢鍾書，打聽過後才曉得楊絳是留學生，還做過中學校長。但楊絳一點架子都沒有，同事們便更覺得與她親近。
這所小學在上海最北，離他們的住處很遠。楊絳每日要乘車到法租界邊上，再走過很長一段不屬於租界的路，然後再乘公租界的有軌電車才能到達。單趟要消耗一個多小時，她在車上困得直打盹兒。所幸小學是半日製，她隻需下午上班，不需起太早。下班時楊絳總與同事結伴回家。走得次數多了，開電車的師傅都認得這幫老師。乘客少時，電車師傅會故意把車開得搖搖晃晃，踩得鈴直響，大家又驚又笑。雖然一路奔波辛苦，大家卻十分快活。有次楊絳想到永安公司去為父親買一把茶壺，因想事情走了神，坐過站，師傅還專為她在永安公司門口停了一下，由此可見楊絳待人之親切。
但那次她買的東西父親並不喜歡。父親的茶壺蓋子打碎了，女兒想幫他買了蓋子配，父親卻毫不領情，隻要原配。楊絳不懊惱，她明白，父親是在想母親呢。
楊絳工作向來做得出色，無論是當作家或學者，還是做教師或校長。原因誠如楊絳本人所講，她從不脫離群眾，始終在群眾中。除此以外，她總是對工作格外用心。哪怕自己力有不逮、無甚興趣，哪怕從未踏入這一領域中，她都有自己的堅持，不肯絲毫懈怠。
楊絳不關心政治，但麵對國仇家恨，她的底線非常明確。珍珠港事變後，日軍進駐上海租界。有軌電車行至黃浦江大橋時，乘客需下車步行，還要向把守橋頭的日本人鞠躬。楊絳不願鞠躬，每次都低頭走過去，所幸未被發現。後來規矩改了，乘客不必下車，但需接受日本人上車檢查。檢查時，乘客都得起立。有次楊絳起得比別人稍遲些，被日軍察覺。那個日本人見她低著頭，便走過來用食指挑著她的下巴，猛然一抬。楊絳大怒，嗬斥道：“豈有此理！”她與日本兵四目對視，僵持許久，周圍乘客的心都提到了嗓子眼。
好在日本兵盯了她一會兒，轉身便走了，一邊走一邊回過頭來看她。她僵直地站在原處。
碰到這種狀況，楊絳心裏自然是怕的。第二天，她恐怕那個日本兵打擊報複，換了一條路走。一個星期後，同事告訴她，執勤的日本兵天天換，她才複走原路線。
工部局半日小學待遇很好，每月還有三鬥白米的補貼。白米雖普通，卻是戰時上海的稀罕物。那時日本人配給市民的隻有碎米，裏麵摻雜許多沙子；麵粉則是黑的，雜質與麩皮各半。楊絳在這所小學教書三年。日本接管這所小學之後，她便辭了職。
那時錢鍾書聲名在外，常有人拜訪，許他功名利祿，讓他為日本人辦事，錢鍾書一一回絕，甘守清貧。
上海淪陷後，楊家與錢家住處狹窄，物資緊缺，都過得艱難。但錢、楊夫妻兩個就住在娘家，還能每日到婆家探望，三姐和七妹也經常回娘家，一家人比在蘇州時分散幾處更親近。楊蔭杭很高興：“現在反倒擠在一處了。”
但此時上海的日子越發困苦，糊口都成了問題。楊絳在《我們仨》中曾回憶過這段日子：
隻說柴和米，就大非易事。日本人分配給市民吃的麵粉是黑的，篩去雜質，還是麩皮居半；分配的米，隻是粞，中間還雜有白的、黃的、黑的沙子。黑沙子還容易挑出來，黃白沙子，雜在粞裏，隻好用鑷子挑揀。聽到沿街有賣米的，不論多貴，也得趕緊買。當時上海流行的歌：“糞車是我們的報曉雞，多少的聲音都從它起，前門叫賣菜，後門叫賣米。”
隨就接上一句叫賣聲：“大米要嗎？”（讀如：“杜米要哦？”）大米不嫌多。因為吃糠不能過活。但大米不能生吃，而煤廠總推沒貨。好容易有煤球了，要求送三百斤，隻肯送二百斤。我們的竹蓖子煤筐裏也隻能盛二百斤。有時煤球裏摻和的泥太多，燒不著；有時煤球裏摻和的煤灰多，太鬆，一著就過。如有賣木柴的，賣鋼炭的，都不能錯過。有一次煤廠送了三百斤煤末子，我視為至寶。煤末子是純煤，比煤球占地少，摻上煤灰，可以自製相當於四五百斤煤球的煤餅子。煤爐得搪得腰身細細的，省煤。燒木柴得自製“行灶”，還得把粗大的木柴劈細，敲斷。燒炭另有炭爐。煤油和煤油爐也是必備的東西。各種燃料對付著使用。我在小學代課，我寫劇本，都是為了柴和米。
……
有一個夏天，有人送來一擔西瓜，我們認為絕不是送我們的，讓堂弟們都搬上三樓。一會兒鍾書的學生打來電話，問西瓜送到沒有。堂弟們忙又把西瓜搬下來。圓圓大為驚奇。這麼大的瓜！又這麼多！從前家裏買西瓜，每買必兩擔三擔。但這種日子，圓圓沒有見過。她看爸爸把西瓜分送了樓上，自己還留下許多，佩服得不得了。晚上她一本正經地對爸爸說：“爸爸這許多西瓜，都是你的！—我呢，是你的女兒。”顯然她是覺得“與有榮焉”！她的自豪逗得我們大笑。可憐的鍾書，居然還有女兒為他自豪。
錢鍾書的父母已經不住在上海，但凡他得了什麼好吃的，總先往嶽父那裏送。楊蔭杭便得意地誇他：“愛妻敬丈人。”楊父胃口不好，女兒們就在他床頭放幾個罐子，裏麵盛上各色點心，看哪種少得比較快，就知道他愛吃哪種，不愛吃哪種，再趁他睡著悄悄放些他愛吃的。原本以為父親不知道她們的小動作，直到楊絳發現父親日記中寫道“阿X來，饋……”才明白父親一直曉得她們的心思呢。
有時姐妹幾個回家，心裏空虛，纏著父親“放焰口”，父親就會帶著她們去錦江飯店吃點心。她們都明白，雖然如今不需要父親破費便能自足，但父親帶了孩子們出去，心上高興，孩子們心裏也能飽好幾天。抗戰勝利前夕，楊蔭杭特回蘇州賣了一部分書，把書款給孩子們“放焰口”。那是最後一次。
就在這次“放焰口”前後，上海有遭地毯式轟炸的危險。楊絳的小妹妹還在震旦女子文理學院上學，楊蔭杭將她托給楊絳，帶著大女兒和三女兒同回蘇州小住。臨行前，他對四女兒說：“阿必就托給你了。”他頓了頓，又說：“你們幾個，我都可以放心了，就隻阿必。不過她也快畢業了，馬上能夠自立了。那一箱古錢留給她做留學費吧。至於結婚，如果沒有好的，寧可不嫁。”父親說這番話的語氣，好像他永遠不會再來似的。楊絳聽了，心裏不舒服。在上海時，楊蔭杭曾有意寫一本書，名叫《詩騷體韻》，還說定將這本書贈予楊絳。
父親沒兌現他的承諾。他在蘇州去世了。