堯棠母親的去世，在李公館算不了什麼大事，它的影響很快就消失了。但是，對堯棠他們兄妹們來說，影響卻是永久的。
母親房裏的一切陳設都沒有變，每次走進去，堯棠仍能感覺到母親的氣息，仿佛母親就坐在窗前的陽光裏，手裏做著針線，慈祥地看著他，溫和地說：“原來是這樣一個淘氣娃娃。”他撒嬌地喊著“媽”，就要撲過去，母親卻沒有了，隻有一張放大了的母親的半身像。物是人非的感覺，一次次潮濕了他的眼睛，讓他接受一個鐵定的事實：我是一個沒有母親的孩子了。看到堂兄弟們撲進母親的懷裏，聽著堂兄弟們一聲聲親切地喊著“媽”，他的悲哀是無法形容的。但他知道姐姐們，特別二姐因母親的死受到的打擊更大。
大姐4歲就死了，二姐實際上是母親的長女。她的生活時時和母親聯係在一起，跟母親讀詩背詞，跟母親學做針線，像母親那樣去愛弟妹，照顧弟妹，12歲便代替楊嫂照顧堯林、堯棠。母親是她生活的支柱，也是她自覺不自覺的偶像，她希望自己像母親一樣既懂詩書又精家務，需要時還能犧牲自己。她也最能體貼母親作為長房媳婦生活在李公館大家庭中的苦處。《烈女傳》的故事，使她心裏的壓力格外大，整日沉默寡言，性情憂鬱。她身體還一直不好，從廣元回到成都後，每到秋涼季節，就不停地咳嗽，人逐漸消瘦，臉還出現潮紅。據說是患了女兒癆（即現在的肺結核），當時的中醫是治不了這病的。有一次病重，高燒昏迷，中醫已經沒有辦法了，母親去請了四聖祠醫院的英國醫生才搶救過來。但那時西醫也不能根治，母親按醫囑，精心地照料著，二姐才逐漸好起來。
為了感謝他們治好了二姐的病，堯棠的母親開始和英國女教士來往。她特意買了刀叉做西餐請她們來吃飯，還領堯棠去她們那兒玩兒或看病。堯棠覺得她們很和氣，她們也喜歡堯棠，送過他點心和幾本書，其中有一本皮麵精裝的《新舊約全書》，堯棠很是喜歡。
母親死了，過分悲痛的二姐因此病又重了起來，沒有了母親的安慰，沒有了母親的精心照料，更沒有人像母親那樣為她請來能治好肺結核的西醫。父親也很愛他的孩子們，但他不相信西醫，他怕洋鬼子，又瞧不起洋鬼子。二姐的病於是一天重似一天，父親為她請了許多名中醫，但都沒有辦法。堯棠暗暗向母親祈求：“媽，你看二姐多可憐，你可要好好保佑她呀！”二姐卻一天天瘦下去，衰弱下去，到了冬天，就躺在床上起不來了。
李公館的日子，仍按照舊規矩、舊禮製一天天過著。11月28日是爺爺的生日，一家之主的生日，全家上上下下忙碌起來。禮物潮水似地接連湧來，李家組織了辦事處接收賀禮，散發請帖。公館裏張燈結彩，裝飾得富麗堂皇，布置了一個精致的戲台，把本城的各班名角請來唱了三天戲。
這三天，讓堯林、堯棠看到了許多從前不曾看到的公館的醜態。公館變成了戲院，變成了市場。到處都是人，都是吵鬧的聲音，都是不自然的笑臉。戲在第一天下午開唱，除了幾出應景的戲外，大部分是戲單上沒有的，都是些被尊敬的客人認為“更動人、更有趣”的戲，而且表演得更細致。到了那些黃色低級的地方，便會響起聽差的聲音：“某某大人或某某老爺賞某某人（旦角）若幹元。”得到賞錢的旦角便向施賞的人飛來媚眼，或者在演完後，穿著戲裝來陪那施賞的大人或老爺喝酒。
人們都在熱鬧，二姐一個人孤零零地躺在病床上，一陣陣叫人肉麻的喊聲、笑聲不斷傳進來，令二姐更加痛苦。堯棠悄悄跑進去，看到二姐不停地咳嗽，似乎連氣都喘不勻了。晚上客人散去了大半，安靜些了。父親叫人扶了二姐出來遠遠地坐在一把藤椅上看戲。二姐軟軟地靠在椅子上，似乎一動也動不了。臉頰凹進去，嘴唇似乎都枯了，眼睛茫然地望著戲台。堯棠伴在姐姐身邊，關切、憐憫得心痛，但他不知怎樣才能幫助這病弱的姐姐。一會兒，二姐頭略略偏了偏，費力地吐出“我要進去”幾個字，臉上顯出不能忍耐的表情。女傭扶她進去了，她再也沒能走出那間房子。三天後，16歲的二姐就靜悄悄地離去了。
那也是黎明前那最寒冷的時候，堯棠還在他奇怪的夢裏：他到了一個墳場，一個很寬敞長滿了草的地方，中間是一座陌生人的墳，墳後有幾棵參天的柏樹。應該是春天，陽光明亮而溫暖地照在樹梢，墳前開滿了野花，紅的、黃的、藍的、白的。蝴蝶在花間飛舞，小鳥在樹枝上鳴唱。墳前墓碑上的字已經模糊了，他正在辨認，微風送來了花香，也送來了哭聲。
哭聲驚醒了堯棠，他躺在床上靜聽，那哭聲仍響在耳邊，是三姐的哭聲。母親死去不到4個月，他們又失去了親愛的二姐。
母親和二姐的相繼去世，使李公館的長房，空蕩了許多，寂寞了許多，也混亂了許多。父親忙著掌管李公館，長子堯枚忙著中學畢業考試，夢想著畢業後去考大學讀化學係。丫頭、老媽子裏外忙著，但群龍無首。於是，很快堯棠他們有了繼母，一位年輕的江西籍姑娘鄧景蘧。繼母也善良能幹，對堯棠他們很好，家裏的一切恢複了舊秩序。但母親是不能替代的，繼母再好，也醫治不了堯棠幼年喪母的創痛。
不過，他還有父親。李道河是個和藹的人，對孩子們很關心。時常帶著堯林、堯棠去戲院看川戲和京戲，有時也讓仆人薑福陪著他們去。他們家是那家戲院的股東，有許多免費的戲票，座位在固定的包廂裏，很方便。堯棠喜歡看武戲，學著戲裏人物翻筋鬥、翻杠杆。
那時候，唱戲是很讓人看不起的職業，唱戲的被稱為戲子，沒有女的，劇中的女角（稱旦角）也由男人扮演。演旦角的戲子，便常常成為人們玩弄的對象。堯棠的三叔、五叔都玩過戲子，甚至他道貌岸然的爺爺也喜歡過戲子。
堯棠的父親卻把戲子當朋友，他喜歡京戲，常常把京班名角請到家裏吃飯，然後在客廳裏清唱。由於他對戲子很客氣，得到他們信任，堯棠了解到許多戲子的悲慘身世。三叔和爺爺喜歡的小旦李鳳卿，原本是小康人家的子弟，十三四歲時被仇人搶去，家裏不肯出錢贖回，就被賣到戲班演旦角。不演戲時，他穿男人的衣服，但言行舉止都像女人，人很和氣，寫一手娟秀的小字。他不久就病死了，留下一個妻子，卻連葬埋的費用都沒有。
堯棠還認識一對唱青衣（女角）的小哥倆，哥哥唱壞了嗓子，便照顧弟弟，靠弟弟生活。弟弟隻有十四五歲，還完全是個孩子，但在台上卻扮演種種薄命的女人。有一次，堯棠跟著父親去他們住的地方，看見他穿著一身短打服，拿著把木頭的關刀寂寞地舞著，於是很同情他，跟他玩了一會兒。
由於對戲子的同情，堯棠很討厭那些玩戲子的人。但他喜歡看戲，也喜歡演戲。他們曾經組織了一個劇團，自己編劇本，排演之後，便在桂堂後麵的竹林裏演出。用複寫紙印了戲票，哄騙姐姐、堂姐、表姐們來看，不看完不許走，當然他們演的是新劇。堯棠的父親也被拉來看戲，坐在那裏饒有興趣地看完他們表演，還給他們編了一個劇本——《知事現形記》，由二哥和三哥扮演戲裏的兩個主角，演得有聲有色，父親看得哈哈大笑。
雖然有父親，有許多小夥伴，但母親和二姐死後，堯棠對環境逐漸產生了一種孤獨感。他從小就討厭繁瑣的禮節，在廣元的時候，爺爺過生日，他父親在廣元敬神，大家輪流對著爺爺的座位磕頭，堯棠卻怎麼也不肯磕，他的母親用鞭子威脅他，沒有用，隻好用鞭子抽了他一頓，母子大哭了一場，但堯棠到底沒有磕一個頭。現在堯棠對禮節的討厭更厲害了。
李公館裏有許多繁文縟節的日子，以除夕最甚。全家聚集在堂屋裏，男的在左邊，女的在右邊，各站一大排，神龕下放著長方形大供桌，供桌上放著一對大燭台和一個大香爐，一家之主的爺爺最後出現，他一出來就放鞭炮。然後女人們出去，男人則從爺爺開始背對供桌向外叩頭，敬天地，然後是李道河兄弟，再後是堯枚兄弟。敬完天地，女人們進來，再由爺爺開始給祖宗叩頭，這次女人也按長幼排進去。完了，大家再按次序給爺爺叩頭，小輩們再分別給自己的父母叩頭，仆人們還要向主子拜賀……
有個除夕，敬天祭祖的時候，大人們怎麼也找不到四少爺堯棠，角角落落去喊。堯棠卻躲在陰暗潮濕的馬房裏，靜靜地聽老周講外麵社會的各種新聞和舊事。老周是李公館裏的轎夫，被巴金稱為“第二個先生”。
從八九歲開始，堯棠為自己找到了另一個世界——“下人”的世界。他經常去門房、馬房、廚房，和仆人、轎夫們玩，問他們各種各樣的事，也幫助他們做一些小事，往柴灶裏添點柴禾，遞遞東西，有時候他們賭博，堯棠便幫那個每賭必輸的老唐。時間長了，他成了下人們信任的小朋友，他們會把自己的痛苦傾訴給他，也會坦白地在他麵前品評主人們的好壞。當然堯棠有什麼要他們幫忙的，他們必然盡力而為。