1953年5月30日，殘雪出生在新湖南報報社宿舍裏。殘雪的父親當時在報社擔任領導職務，殘雪出生的第二年，父親任新湖南報報社的社長。父親鄧鈞洪給孩子取名鄧則梅。後來她自己改名鄧小華，“殘雪”是鄧小華走上文學之路後的筆名，一直沿用至今。由於她在文學上的傑出表現和廣泛聲譽，以至於後來人們隻知“殘雪”而不知“鄧小華”。
殘雪的兄弟姐妹眾多，一共有八個。有三個哥哥兩個姐姐兩個弟弟。殘雪的父母在結合之前原就各有子女。有兩個哥哥一個姐姐。大哥和姐姐與殘雪同父異母，二哥與殘雪同母異父。與殘雪同父同母的是一個哥哥一個姐姐兩個弟弟。所以，殘雪在家的排行也是不確定的，有時候排行老三，有時候排行老六，全看當時的情形。雖然家庭成員眾多，關係複雜，但卻是一個和睦的大家庭。
《新湖南報》即現在的《湖南日報》。報社社址在湘江東岸、長沙市老城區小吳門附近。不遠處是長沙火車北站（貨站），鐵路從報社的旁邊穿過，運煤卸煤的火車日夜不停地發出咣咣當當的聲響。50年代，因為商貿和城市經濟剛剛起步，小吳門附近的街道開始恢複往日的繁榮，有一些零星的飯鋪、商店、小吃店。報社對麵是便河邊巷，便河是古時的城隍。護城河雖早已被填平，但城隍居民的那種市井氣息卻像一壇陳年老酒，歲月的酵母讓這種氣息因年代久遠而愈為濃烈。便河邊巷是長沙有名的美食街。但它不同於坡子街。坡子街因為有四百年的老字號“火宮殿”，有戲台子、花鼓戲、長沙評彈，有湘地最原始的祭祀儀式，有九娭毑的臭幹子。附近還有“楊裕興”、“黃春和”等一些百年老字號。那裏的店鋪檔次高，青磚房，石板路，紅漆門，雕梁畫棟，古色古香，比較有文化內涵。而便河邊巷的飯館則顯得土氣多了。參差不齊的鋪麵，曲裏拐彎的巷子，油漬斑斑的廚房排煙管，擺攤的小販。簡陋的南食店裏有炸蠶豆、醃洋桃、醃梅子、杏子餅、茴餅。街邊屋簷下有賣蔥油粑粑的，醬檳榔殼子的。有開理發店的，修鞋的補鍋的，有各種行當的手藝人。而這裏有長沙最地道的原創菜：剁辣椒魚頭，青辣椒炒肉，白辣椒炒香幹，水煮河魚，口味蝦，雪裏蕻酸豆角肉末，蘿卜幹炒臘肉，各式壇子菜，臘八豆。烈性的辣椒味熏得整條巷子的人打噴嚏。食客們光著膀子，扯著大嗓門聊天，那種短音節、重尾聲、高八度的地道長沙話，像雷聲一樣在巷子裏滾來滾去。便河邊巷與報社隔著一條很寬的馬路和一條鐵路。順風的時候，報社宿舍或許能聞到炒辣椒的嗆味，但更多的是火車輪子滾滾而來的隆隆聲。報社背後是香椿路，靠江邊一排排擠擠挨挨的木板房，住的都是靠手工百業吃飯的平民。因臨近船碼頭，香椿路呈現出繁華景象。現在，那裏成了湘江風光帶和遊輪碼頭，碩大的遊輪，燈紅酒綠，一片喧囂。在殘雪出生的那個年代，住在報社大院裏算是上流社會。因此，便河邊巷、香椿路這樣的平民木板房與報社大院隔著幾重天。大院裏的人不跟這些小市民打交道，雖然常常路過他們的門前，彼此之間都保持一份神秘感。殘雪上小學時到過住木板房的同學家裏，才發現那是一個奇妙的世界。後來自己做裁縫，完全融人市民社會中，這是後話。
在這個大家庭裏，在眾多的兄弟姐妹之中，也許是殘雪的天性和稟賦太多的像父親，惹得父親格外地疼愛她。即便是在生活極其艱難的歲月，一家人吃了上頓沒下頓的情況下，父親會偷偷地給殘雪省下一塊餅幹或者一粒糖果。因此，小殘雪生長發育沒有受到什麼挫折，個頭一個勁地往上躥，惹得兄弟姐妹們都嫉妒她，集體地嘲笑她“比任何人都高出一個頭”。
父親喜歡叫她的乳名“崽崽”。直到現在，家裏人還都親呢地叫她崽崽。她自己在家人麵前也自稱崽崽。比如打電話給哥哥家裏，如果是嫂嫂接的電話，殘雪會在電話那頭說：“我是崽崽，鄧曉芒在家嗎？”崽崽也總喜歡圍著父親轉，好奇地看著父親做這做那。父親的銅絲框眼鏡壞了，拿個小錘子敲敲打打，一幹就是大半天，殘雪就站在旁邊一看就是大半天。父親修手表、修雨傘，殘雪也總是站在旁邊看，偶爾當一回助手，遞鉗子銼子，鐵絲螺絲之類的。父親被腳氣和灰指甲折磨了多年，殘雪也陪著父親與這些疾病頑強地對抗了多年。父親總是說：“崽崽，替爸爸買瓶殺烈癬霜來。”小殘雪就甩著小胳膊扭著小屁股興奮地跑向熟悉的商店。“文革”時造反派抄家，搜出一抽屜殺烈癬霜。殘雪小時候有些任性倔強，這多半是父親給慣的。父親對孩子寬容和放縱，母親隻好扮演嚴厲的角色。殘雪與弟弟喜歡小動物，他們偷偷地養了一隻貓，怕被大人發現，就讓貓睡在自己的被窩裏。貓在被子上拉屎拉尿，屋子裏搞得臭氣熏天，終於被大人發現了。媽媽怕貓給孩子傳染疾病，就瞞著殘雪把貓給送人了，殘雪為此記恨媽媽好多年。