在生活稍為安定的時候，梁思成便想繼續營造學社的工作，在西南地區進行古建築考察。為了籌措活動經費，他寫了一封信給中華教育文化基金董事會的周詒春，希望可以得到補助。周詒春回信說，隻要梁思成和劉敦楨在營造學社，基金會便會一直給予補助。此時，劉敦楨也來信表明願意來到昆明，不久之後，營造學社的其他成員也紛紛趕來昆明。於是，營造學社又重新組建起來了。
重新組建的中國營造學社隻有六人，梁思成、林徽因、劉敦楨、劉致平、莫宗江和陳明達。劉敦楨畢業於日本東京高等工業學校建築科，回國後曾任蘇州工業專門學校教授，1931年入中國營造學社擔任文獻部主任；劉致平1932年畢業於中央大學建築係，畢業後到上海華蓋建築事務所工作，1934年來到學社，是梁思成的主要助手；莫宗江和陳明達則是營造學社自己培養的研究人員，也是測繪高手（後來都成為我國著名古建築學家）。
這時對於昆明的轟炸越來越多，為了躲避戰爭帶來的災難，他們搬到了更為偏遠的地方。在林徽因的監工下，他們在昆明12公裏外的小村莊龍頭村，建造了一個屬於他們自己的家。挑選距離城市這麼遠的地方，隻是因為他們都希望能遠離轟炸。
“出乎意料地，這座房子花了比原來告訴我們的高三倍的錢。所以把我們原就不多的積蓄都耗盡了，使思成處在一個可笑的窘境之中（我想這種表達方式大概不對頭。）在建房的最後階段事情變得有些滑稽……我們的房子是最晚建成的，以至最後不得不為爭取每一塊木板、每一塊磚，乃至每根釘子而奮鬥。”林徽因寫道。
一直到1940年春天梁思成從四川回來以前，都是由林徽因獨自辛苦撐著這一個簡陋的家。因為在1939年秋天，梁思成在身體基本恢複的情況下，和劉敦楨、莫宗江、陳明達這些營造學社的同僚們一起，對雲南、四川、陝西、西康等省的36個縣開始了長達半年的古建築考察。
“現在我們已經完全破產，比任何時候都慘。米價已漲到一百塊錢一袋，我們來的時候才三塊四。其他東西的漲幅也差不多。今年我們做的事沒有一件輕鬆。……思成到四川去了已經五個月。我一直病得很厲害，到現在還沒有好。”
1940年9月費慰梅從美國寄來的支票幫了林徽因的大忙，這正好支付了建築費用，幫助林徽因脫離了這種“可笑的窘境”。
住進新居，林徽因的心情可以說是喜憂參半：一方麵是在戰火紛飛的年代，自己一家終於有了一個可蔽風雨的屋頂，有了可供自己安靜生活、工作的空間；另一方麵，戰爭的陰影卻仍然時刻籠罩著一切。
“生活是艱難的，冷熱自來水都沒有。第一樣買回的物品是一口陶製的大水缸，有近一米高，用來儲存挑進屋裏的水。對一個家庭來說，一口水缸是如此重要，以至於一座燒缸的窯開張時，婦女們彼此擁擠甚至打架，惟恐買不到。燒飯是俯身在一隻三條腿的火盆上動手，火盆的頂部離廚房的泥地不過四五十厘米，隻能支一口鍋。燃料用煤灰和泥做成的煤球，火必須扇旺到能做飯的程度。如果要洗澡、洗衣或洗碗，就得從水缸裏舀出水來，在這個或另一個爐灶上燒熱。任何家庭若是有一個大熱水瓶來儲存熱水，就把它當成是家中的寶貝。除此，還要冒著塵土或泥濘，迢迢跋涉到村裏去買那些買得起的食物帶回家，而且還得天天去，因為根本沒有冷藏這回事，連想都別想。當然沒有電話或交通工具。
“天黑了點菜籽油燈，但那也很貴，所以最好還是跟村民一樣，天一黑就睡覺。孩子的衣服穿破了或穿不下，不知如何是好。布，幾乎沒有。一句話，戰爭、通貨膨脹和原始的生活方式，已把梁家變成了窮人家。”（費慰梅《中國建築之魂》）
這段時期，林徽因生活得很苦很累，自己有病，梁思成又經常外出，營造學社的日常工作、照顧子女的重擔都落在她羸弱的肩上。林徽因雖然是名門閨秀，留洋才女，但她並不嬌嫩，長期的野外調查已磨練出了她堅強的意誌和性格。然而，在沒電、沒自來水、沒交通工具的鄉村，又要工作又要拖兒帶女，還是使她備受煎熬。生活留給林徽因的記憶是深刻的。建房的艱辛，生活的困難，從月色中野花的清香到堤岸上聳立的柏樹，從田間地頭的農婦村夫到燒製盆罐的窯工泥匠，都使她更加接近現實的社會生活。
林徽因有一首名為《微光》的詩，是這段生活的寫照：
街上沒有光，沒有燈，
店廊上一角掛著有一盞；
他和她把他們一家的運命
含糊地，全數交給這黯淡。
街上沒有光，沒有燈，
店窗上，斜角，照著有半盞。
合家大小樸實的腦袋，
並排兒，熟睡在土炕上。
外邊有雪夜，有泥濘，
砂鍋裏有不夠明日的米糧；
小屋，靜守住這微光，
缺乏著生活上需要的各樣。
缺的是把幹柴；是杯水；麥麵……
為這吃的喝的，本說不到信仰——
生活已然，固定的，單靠氣力，
在肩臂上邊，來支持那生的膽量。
明天，又明天，又明天……
一切都限定了，誰還說有希望——
即使是做夢，在夢裏，閃著，
仍舊是這一粒孤勇的光亮？
街角裏有盞燈，有點光，
掛在店廊，照在窗檻；
他和她，把他們一家的運命
明白的，全數交給這淒慘。
提到林徽因在這段時期裏每天的生活，她自己形容：“我是女人，理所當然變成一個純淨的‘糟糠’典型，一起床就灑掃、擦地、烹調、課子、洗衣、鋪床，每日如在走馬燈中過去。然後就跟見了鬼似的，在困難的三餐中間根本沒有時間感知任何事物，最後我渾身疼痛著呻吟著上床，我奇怪自己幹嘛還活著。這就是一切。”
她繼續說道：“每當我做些家務活時，我總覺得太可惜了，覺得我是在冷落了一些素昧平生但更有意思、更為重要的人們。於是，我趕快幹完了手邊的活兒，以便去同他們‘談心’。倘若家務活兒老幹不完，並且一樁樁地不斷添新的，我就會煩躁起來。所以我一向搞不好家務，因為我的心總一半在旁處，並且一路上在詛咒我幹著的活兒——然而我又很喜歡幹這種家務，有時還幹得格外出色。反之，每當我在認真寫著點什麼或從事這一類工作，同時意識到我在怠慢了家務，我就一點也不感到不安。老實說，我倒挺快活，覺得我很明智，覺得我是在做著一件更有意義的事。隻有當孩子們生了病或減輕體重時，我才難過起來。有時午夜捫心自問，又覺得對他們不公道。”
而對於林徽因的繁忙，金嶽霖隻用簡單的兩句話進行了概括：“她仍舊很忙，隻是在這種鬧哄哄的日子裏更忙了。實際上她真是沒有什麼時間可以浪費，以致她有浪費掉生命的危險。”
“天氣開始轉冷，天空布滿愈來愈多的秋天的泛光，景色迷人。空氣中飄滿野花香——久已忘卻的無數最美好的感覺之一。每天早晨和黃昏，太陽從那方位帶來靜穆而優美的快感，偷偷射進這個充滿混亂和災難的無望的世界裏，人們仍然意識到安靜和美的那種痛苦的感覺之中。戰爭，特別是我們自己的這場戰爭，正在前所未有地陰森森地逼近我們，逼近我們的皮肉、心靈和神經。”
到11月，轟炸越來越厲害。林徽因在給費慰梅夫婦的信中這樣說道：
“日本鬼子的轟炸或殲擊機的掃射都像是一陣暴雨。你隻能咬緊牙關挺過去，在頭頂還是在遠處都一樣，有一種讓人嘔吐的感覺，尤其是當一個人還沒有吃過東西，而且今天很久都不會再吃任何東西，就是那種感覺。
“可憐的老金，每天早晨在城裏有課，常常要在早上五點半從這個村子出發，而還沒來得及上課空襲就開始了，然後就得跟著一群人奔向另一個方向的另一座城門、另一座小山，直到下午五點半，再繞許多路走回這個村子，一天沒吃、沒喝、沒工作、沒休息，什麼都沒有！這就是生活。”
1940年冬天，為了可以利用中央研究院史語所的圖書資料，營造學社遷到了四川南溪縣李莊鎮上壩村。於是，林徽因一家也遷往了距離宜賓60華裏的南溪縣李莊鎮上壩村，這正好也讓他們得以躲避戰亂的昆明，稍微安定一些。
上壩村風景秀美，但是生活條件極為困難。沒有自來水和電燈，隻能點菜油燈勉強照明，挑水要去村邊的水塘。他們所住的房子低矮簡陋，時常出沒著老鼠和臭蟲。
梁思成曾經這樣回憶那段生活：“在菜油燈下，做著孩子的布鞋，購買和烹調便宜的粗糧，我們過著我們父輩在他們十幾歲時過的生活但又做著現代的工作。有時候對著外國雜誌和看著現代化設施的彩色繽紛的廣告，真像麵對奇跡一樣。”
林徽因和梁思成在這裏整整生活了六年。這是貧窮與疾病交困的六年，與世隔絕的六年。這裏的生活條件非常艱苦，即使是兩華裏外的李莊鎮，也隻不過是個萬把人的鎮子，談不上什麼糧菜供應，生活條件比在昆明時更差了。林徽因不得不抽出大量的精力來操持家務，這是她最苦惱的一件事，每當大段大段的時光在無聊的家務勞作中流逝，她便莫名其妙地想發火，可是家務又不得不做。
李莊的貧困生活和潮濕氣候，讓林徽因的肺病越來越嚴重，身體消瘦得厲害，幾乎不成人形。她大部分時間隻能臥床不起，而家裏能提供她養病的“軟床”，也隻不過是一張搖搖晃晃的帆布行軍床。偶爾有朋友從重慶或昆明帶來一小罐奶粉，就是她難得的高級營養品。整個李莊沒有一所醫院、一名正式的醫生，惟一的一支體溫計被兒子打破後，林徽因竟有大半年無法測量體溫。