陳氏家族是一個被帝王將譽為“孝義相從”的世家。宋仁宗在位時，陳氏聚族而居，人口多達三萬七千人。按文彥博、包拯等大臣的建議，1062年7月（嘉祐七年），宋仁宗派人監戶“分析”，將陳氏人口疏散。通過抓鬮，陳獨秀祖上一脈由湘而贛，南宋末年，由贛入皖，遷懷寧金錠橋柳林灣、淥水鄉、十裏鋪。
1946年年底，陳獨秀家族重刻《義門陳氏宗譜》，重刊了“丙辰科進士殿試欽點一甲第一名授翰林院修撰”趙文楷1798年舊曆八月寫的序。趙文楷是嘉慶元年（1796年）的狀元，趙樸初的六世祖。他寫序說：“陳氏嘯峰先生自皖遷自太，去餘廬數武遙。幼自相狎，長相友。品學素所推重，延為西席課諸弟侄輩。”陳嘯峰由懷寧遷到太湖後，先住太湖北門內，與趙文楷家是鄰居，兩人從小在一起玩大。趙文楷後來還聘了陳嘯峰到他家做私塾先生，課其子侄。1798年夏，陳嘯峰就刻《義門陳氏宗譜》一事，寫信給趙文楷，請他寫序，並寄去有關宗譜的資料。
陳獨秀的祖父叫陳章旭，字太占，字曉峰（1819年9月17日～1889年6月13日），即白胡子爹爹，鹽提舉銜候選知縣；妻勞氏（1824年7月18日～1870年9月29日）。陳章旭與勞氏生四子一女：
長子陳衍藩，字靄亭，（1840年12月17日～1861年7月14日），陝西候補直隸州。妻葉氏（1841年五月初八～1858年正月二十一日）。太平天國安慶保衛戰期間，隨父參加戰鬥，在東流被太平軍亂槍戳死於稻草堆中，年二十二歲，葬於東流黃石磯東北編衝山腰，妻葬於朱家梁亭葉家老屋山。
次子陳衍藻，夭折。
三子陳衍中，字象五（1848年9月19日～1882年8月15日），陳獨秀的父親。曾國藩克複安慶，以縣學生考取秀才（優凜貢生）。屢困場屋，納粟以府經曆分發江蘇。辛已（1882年），蘇州城瘟疫大作，染疾卒於懷寧會館，年三十五歲，與父合墓，葬於十裏鋪老祖山。娶妻查氏（1851年12月7日～1899年），生子女四人。
四子陳衍庶（陳昔凡）（1851年10月2日～1913年4月5日），光緒元年乙亥（1875年）恩科舉人。陳家習儒業十二世，功名未顯，唯陳昔凡中舉，給陳家祖宗增了光，《義門陳氏宗譜》懷寧一係，隻有他的畫像上譜。家譜記載：
由附生中光緒元年乙亥恩科舉人，考取謄錄館議敘班候選知縣。蒙山東巡撫張耀於河工保舉知州補缺，後以直隸州用，欽加四品銜，就辦盛京文案事件；蒙將軍裕祿奏留奉天候補知州，署奉天府軍糧同知，調署昌圖府懷德縣知縣；複蒙盛京將軍奏保免直隸州補缺，後候升知府，曆任遼陽州新民廳、鳳凰廳、直廳過班升道，分省補用。因識時知機，致仕歸裏。
陳昔凡去世後，葬於安慶市郊區十裏鋪老祖山。原配桐城拳莊方氏（1859年3月11日～1882年9月24日），享年二十三歲，葬於十裏鋪祖山；續配浙江人謝氏（1862年12月1日～1939年2月2日），在江津去世；側室邵氏（1871年7月9日生）。陳昔凡無子嗣，三哥陳衍中去世後，將其子慶同（陳獨秀）過繼為嗣子。
女兒，嫁吳振泰。
白胡子爹爹生了四個兒子，一個夭折，一個青年陣亡，一個不生育，隻有老三生了陳衍中生了兩二兩女：
長子陳孟吉，慶元（1872年12月26日～1908年9月9日），府學稟貢生，娶補用巡政廳張某長女張氏（1872年8月16日～1912年），生子三：遐年、遐勳、遐永。慶元夫妻葬十裏鋪老祖山右。
幼子慶同，即陳獨秀（1879年8月24日辰時～1942年5月27日，舊曆四月二十五日酉時），邑癢生。娶霍邱人、安慶副將高登科長女高曉嵐（1876年正月十八日～1930年7月27日酉時），陳獨秀和高曉嵐合葬安慶市郊區葉家衝。生子三：遐延（1898年～1927年）、遐喬（1902年～1928年）、遐鬆（1910年～1990年）；生女二：長女玉瑩（1900年～1928年），次女夭折。側室高君曼（1888年～1931年），生二子：遐和、次子瘍，長女陳子美，嫁張某，次女瘍。繼配潘蘭珍（1908～1949年10月30日）。
長女（～1939年），即陳獨秀大姐，嫁吳向榮，在江津去世。
次女（～1920年），即陳獨秀二姐，嫁薑超甫。