但很快，這樣平靜的生活就因父母間的矛盾而被打破了。張愛玲的父親結交了一幫酒肉朋友，整日泡賭城，逛戲院，抽大煙，還背著妻子在外麵養姨太太，成了一個十足的浪蕩子。
對丈夫所沾染的惡習厭惡，張愛玲的母親到了極點，深受新派思想影響的她絕不會像舊式婦女那樣，對丈夫納妾、抽鴉片等行徑隻會忍氣吞聲，敢怨不敢言。對於丈夫種種墮落行為，她從來都沒有妥協過。盡管丈夫也經常瀏覽書報，常以新派人物自居，可骨子裏仍是個腐朽的封建遺少，十足的享樂主義者，兩人為此經常爭吵。家中發生的這一切，自然是在花園裏嬉戲玩鬧的小煐和弟弟所不知道的。
張愛玲的母親無法忍受丈夫的腐化墮落，最終選擇了出走。不久她以留學的名義決意出國。張愛玲的姑姑也是新派女性，堅決支持嫂子的行動，也與她一同出國。1924年，已經是兩個孩子母親的黃素瓊踏上了遠行的油輪。在當時的社會看來，母親的行動完全是個不守本分的“異數”，但輿論的非議沒能阻止她的腳步。在母親動身去法國時，張愛玲才4歲，尚未對母親的離去感到怎樣的沉痛與悲傷，在《私語》中她憶起母親當日動身的情景：
“上船的那天她伏在竹床上痛哭，綠衣綠裙上麵釘有抽搐發光的小片子。傭人幾次來催說已經到了時候了，她像是沒聽見，他們不敢開口了，把我推上前去，叫我說：‘嬸嬸，時候不早了。’（因張愛玲是女孩,從小過繼給伯父,所以稱母親為嬸嬸。）她不理我，隻是哭。她睡在那裏像船艙的玻璃上反映的海，綠色的小薄片，然而有海洋的無窮盡的顛波悲慟。
“我站在竹床前麵看著她，有點手足無措，他們又沒有教給我別的話，幸而傭人把我牽走了。”
母親無言的痛哭，仿佛是在哀悼自己不幸的婚姻與命運。她之所以出國，也隻是一種“眼不見為淨”的逃避方式而已。對於這一點，她自己自然是十分清楚的。但發生的這一切，在年僅4歲的小愛玲眼裏，是無法看透的。母親的離去並非是一種傷痛，就好像一個人從記憶中消失了一段時日：“家裏沒有我母親這個人，也不感到任何缺陷，因為她很早就不在那裏了。”
早在張愛玲的母親出國之前，她的父親就偷偷養起了姨太太，母親的出走不能不說與此有關。一開始，這位姨太太被她包養在外麵的小公館裏，小時候的張愛玲還時常被父親抱到那裏玩。或許是因為不願意去，每當父親過來抱她時，她就拚命地扳住門，雙腳亂蹬，把父親氣得非要把她扳下來打幾下。可是一到了那邊，看著小公館裏氣派的紅木家具，擺在雲母石的雕花圓桌上的高腳銀碟子，小愛玲就馬上高興起來，況且姨太太又很會哄人，給她許多糖吃。一等母親出國，張愛玲的父親就迫不及待地把這位姨太太接進了家門。
姨太太本是妓女出身，綽號老八，“蒼白的瓜子臉，垂著長長的前留海”。一進了張家，就時常舉辦各種宴會。躲在簾子背後偷看的小煐，見到了許多希奇的人物，同坐在一張沙發椅上的兩位漂亮姊姊，則最讓她難忘：“批著前劉海，穿著一樣的玉色褲襖，雪白的偎依著，像生在一起似的。”大概從那時起，張愛玲就一直對美有一種特殊的敏感。
小煐的弟弟，這位姨太太是不喜歡的，一看到他，大概就會令她想起孩子的母親來。小煐倒是很合她的心意。有那麼一個時期，小煐每日都會被大人們帶到起士林去看跳舞。年幼的她還不曾有舞池邊上的桌子高，與“麵前的蛋糕上的白奶油高齊眉毛”；等把麵前的這塊奶油蛋糕解決掉，她也漸漸在那微紅的黃昏裏發起困來，照例到三四點的時候，被仆人背回家。姨太太還曾為她做了一件頂時髦的雪青絲絨的短襖長裙，還曾說：“看我待你多好！你母親給你們做衣服，總是拿舊的東拚西改，哪兒舍得用整幅的絲絨？你喜歡我還是喜歡你母親？”當時四五歲的小愛玲得了這樣漂亮的裙子，自然滿心歡喜，因而毫不猶豫地就說“喜歡你”。然而為了這件事情，直到成年之後她還感到“耿耿於心”，因為那是自己真實的想法，“並沒有說謊”。
不過姨太太的脾氣實在不好，常把張家鬧得雞飛狗跳：“姨奶奶住在樓下一間陰暗雜亂的大房裏，我難得進去，立在父親煙炕前背書。姨奶奶也識字，教她自己的一個侄兒讀‘池中魚，遊來遊去’，忽意打他，他的一張臉常常腫得眼睛都睜不開。”很快，張愛玲的父親也領教了姨太太的威力，被痰盂砸破了頭。族裏人看不過意，最終逼得她不得不離開。姨太太走的那天，小煐坐在樓上的窗台上，看著兩輛榻車從大門裏緩緩出來，盛著姨太太的銀器家什。這在她看來，未必是一件拍手稱快的事，然而仆人們都說“這下子好了”，因為——太太要回來了。
就在她8歲的這一年，家裏發生了很多事情。先是姨太太被攆走，隨後父親又把家從天津遷回了上海，在海外多年的母親即將歸來，這其中的緣由，又與她父親的差事有關：1927年1月，那位在天津任交通部總長的張誌潭被免了職，靠這位堂兄謀得差事的張廷重就此失去了靠山，而英文秘書一職本就是個閑差，他整日不務正業，隻知道抽大煙、逛賭場，還和姨太太打架，名聲原本就不好，因此不久就丟了官。一時意誌消沉，不覺又想起留學海外的妻子的種種好來，這才決意趕走姨太太，遷回上海，給張愛玲的母親寫信，央求她回國。
張愛玲在她的散文《私語》中回憶這段經曆時，寫道：“坐船經過黑水洋綠水洋，仿佛的確是黑的漆黑，綠的碧綠，雖然從來沒在書裏看到海的禮讚，也有一種快心的感覺。睡在船艙裏讀著早已讀過多次的《西遊記》，《西遊記》裏隻有高山與紅熱的塵沙。