《紅樓夢》所反映的時代，廣義地說，由清代初年到乾隆初年，包括著康熙、雍正兩朝在內。對於曹雪芹說來，雍正年間和乾隆初年的事，都是他親身經過的。對於康熙年間的故事，則是得之於傳聞和文獻了。借鳳姐的口說“若早生二三十年”等等，也正是曹雪芹的寫照。
曹雪芹的家族、祖先，和清代的最高政權統治者——皇帝有過特殊的關係。還不同於一般的皇族、功臣，以及由科舉考試出身的大官吏，他家是有特殊恩典的“赫赫揚揚”的世家。
他的祖上原本漢族，但很早就搬到山海關外遼東一帶過活。很早就“歸旗”，他家是“正白旗包衣”。正白旗是八旗中上三旗之一，而“包衣”卻是“戰俘分賜給功臣為奴、且編入旗籍”的一些人的統稱，而且“包衣”是世襲的。
說曹雪芹的家世，先得從他高祖（即祖父的祖父）說起。他的高祖名曹振彥，據《清太宗實錄》記載，早在清兵未進山海關之前，皇太極天聰八年，也就是明代崇禎七年，公元一六三四年，就在多爾袞屬下作“旗鼓牛錄章京”，相當於三百人隊伍的首領。而且因有功，加了半個“前程”（近似現在所說的加半級）。進關後仕至浙江鹽法道。
他曾祖（祖父的父親）曹璽，也因軍功，由一般侍衛升到內廷二等侍衛，又升內務府工部郎中（內務府主要管皇宮生活內務，內工部不同於國家六部中的工部）。康熙二年，出任江寧織造，直到二十三年卒於任所。曹璽的妻子孫氏，是康熙皇帝幼年的奶媽。這是一層特殊親密的關係，封建皇族中，特別重視這層關係。孫氏是康熙的奶媽，曹璽便是康熙的奶爹，曹璽的兒子便是康熙的奶兄弟。康熙是順治皇帝的三皇子，封建皇室中，各個皇子從小都被奶媽哺育，與其生母皇後或皇妃的母子之情，常常不如和哺育他的奶媽來得深厚；尤其是幼年時期，與奶媽、奶爹、奶兄弟之間的天真無邪的感情，多少年也不會忘記。孫氏哺育的這個小皇子，九歲就做了皇帝，一直做了六十一年，便是有名的康熙。曹家也極為風光地度過了六十多年，是一個與皇帝有特殊關係的特殊的“赫赫揚揚”家族。曹璽也很能幹，能認真地忠於康熙。他出任江寧織造，不但能力任繁劇，而且“積弊一清，幹略為上所重”（見唐開陶等修纂《上元縣誌》中《曹璽傳》，康熙六十年刊。此書現藏日本內閣文庫，據馮其庸教授《夢邊集》所引轉引）。
曹雪芹的祖父曹寅名聲最大。他不但繼其父曹璽之職，長期任江寧織造，而且兼巡視兩淮鹽政，奉命纂輯《全唐詩》、《佩文韻府》。著作有《楝亭詩文集》。曹寅不但官大、任期長，而且學問好，熱心文化藝術事業，在學術、藝術上對當時和後來影響都很大。
這裏要簡單說一下“織造”這個官。明代重用太監，宮中有二十四衙門，管皇帝辦公、起居、衣食住行等等，這些人權勢極大。清初先並為“十三衙門”，後即革除，以“三旗包衣”（所謂“我朝發祥之初家臣”，實即“奴才”身份）成立內務府。明代江南江寧、蘇州、杭州等地派有“織造太監”，由宮中“尚衣監”派太監擔任，管理各地為皇帝織造供禦、內用綢緞的事，有欽差身份。清代則改由內務府派郎中、員外郎去當差。論品位不過六品、五品，但係“欽差”身份，十分特殊。而且可由皇帝加恩，品位升到一品。如曹璽以內務府內工部郎中出任江寧織造，康熙十六年丁巳、十七年戊午兩次去京見皇上（即“陛見”），陳述江南吏治，十分周詳切實。康熙賜他蟒服，加正一品，禦書“敬慎”匾額，極為榮耀。按清代製度，內務府的長官總管大臣，不過是“正二品”。曹璽加正一品銜，超過內務府總管大臣二級，等於“三公”（太師、太傅、太保）和內閣大學士的官品了。