沒有全麵繼承和發展中國優秀傳統文化和政治理念的儒學，輔佐和規範曆代帝皇的治國思想和行為，熏陶世世代代的華夏民族，秦始皇開創的大一統國家，恐怕很難延續兩千多年。中國的大一統思想由來已久，孔子心中的理想帝王就應握有一統天下的權威，所謂“禮征樂伐自天子出”。儒道墨法等各派思想中都潛藏著大一統的身影。不斷發展的儒家思想，集儒道墨法等各派思想於一爐，成為了兩千多年中國大一統的凝合劑。
中國的大一統理念和以德配天的思想，可以追溯到三皇五帝時代。古代的“王”和“皇”都有大、美好的意思。《廣韻》解釋：大也，君也，天下所法。《洪範》說：無偏無黨，王道蕩蕩。《說文》解釋：大也。《尚書序疏》說：稱皇者，以皇是美大之名，言大於帝也。《春秋繁露》曰：德侔天地者稱皇帝。
古人認為，有德行的人才能稱王。如果說夏啟是通過赤裸裸的暴力奪取政權的話，那麼商湯滅掉夏時，人們對王則作了德行方麵的規定。即王的行為不合理時，人們有權推翻他另立新王。商湯起兵反夏時就是以“有夏多罪，天命殛之”為號召的，而且曆數夏王罪行“率遏眾力，率割夏邑”，以至“有眾率怠弗協”。正是基於這一原因，商湯在《湯誓》裏才振臂高呼：“夏德若茲，今朕必往。”周朝的建立也同商朝代夏一樣，商王帝辛（即商紂王）的“暴虐”成為他失去帝位的原因。對地方勢力，商紂王濫加殺戮，如醢鬼侯、脯鄂侯、禁文王；對王室成員和貴族也肆意迫害，如殺比幹、囚箕子、廢商容。這一切的倒行逆施，致使商紂王眾叛親離，如紂王的庶兄微子在周武王滅商時便降周了，太師疵、少師彊、內史向摯則直接投奔了周人。這表明統一天下的君王，必須有嚴格的道德規範，否則你統治的合法性就要受到質疑。
中國古代正式提出“大一統”概念的是《公羊傳·隱公元年》：“何言乎王正月，大一統也。”唐人顏師古注釋說：“一統者，萬物之統皆歸於一也……此言諸侯皆係統於一，不得自專也。”疏曰：“王者受命，製正月以統天下，令萬物無不一一奉之以為始，故言大一統也。”老子在《道德經》裏，提出他的哲學思想，主張以“一”為本，“道生一，一生二，二生三，三生萬物。”在春秋戰國時期，諸子百家都在談論國家政治秩序的統一問題。孔子針對“禮樂征伐自諸侯出”和“陪臣執國命”的混亂局麵，響亮地提出了“禮樂征伐自天子出”，同時對大一統封建皇權秩序的確立，做出了影響兩千多年的規範：“君君、臣臣、父父、子子”，這是實現“天下有道”的理想社會的組織保證。此後，孟子對孔子的學說又作了補充，在《梁惠王章句上》說：“君仁臣義，君民同樂，風尚淳樸，百姓親睦，天下定於一。” 在《萬章章句》上說：“天無二日，民無二王。”《呂氏春秋》言：“王者執一，而為萬物正……一則治，兩則亂。”
春秋諸子百家以及戰國以後的思想家，盡管學術思想各不相同，治理國家的理念和手段不同，但在建立大一統的國家及大一統的皇權政治這一點上，幾乎是一致的。齊桓公的上卿（宰相）管仲說：主尊臣卑，上威下敬，令行人服，治之至也。使天下兩天子，天下不可治也。一國而兩君，一國不可治也。一家而兩父，一家不可治也。夫令不高不行，不專不聽。堯舜之民非生而治也，桀紂之民非生而亂也，故治亂在上也。管仲甚至還提出了具體製度上的大一統措施：天子出令於天下，諸侯受令於天子，大夫受令於君，子受令於父母，下聽其上，弟聽其兄，此至順矣。衡石一稱，鬥斛一量，丈尺一綧製，戈兵一度，書同名、車同軌，此至正也。法家的墨子也說：天下之百姓，皆上同於天子。秦宰相李斯更是明確提出：滅諸侯，成帝業，為天下一統。《漢書·王吉傳》中稱： 春秋所以大一統者，六合同風，九州共貫也。 顯然，盡管對“大一統”皇權政治的表述各不相同，目標所指卻是一致的：強調自上而下的政令統一。
中國古代的思想家幾乎無一不是政治家，哲學家們對政治問題都表現出濃厚的興趣和極大的關注。特別是號稱入世之學的儒家，談天論道都是以人道、人類社會為目的，其理論帶有強烈的政治色彩。如孔子的“德治論”，“修身、齊家、治國、平天下”，他帶領弟子在各國遊學時，每到一處總是規勸君王“施仁政”。就是韓非的“法治論”，老子的“無為而治論”和墨子的“兼愛論”，無一不是達到大一統治世的“濟世良方”。同時，他們又都是各自理想的偉大的實踐家，如孔子聲言：“苟有用我者，期月而已可也，三年有成。”孟子則說：“如欲平治天下，當今之世，舍我其誰也。”
在孔孟儒學思想的熏陶和影響下，大一統的理念經過長期的曆史演變，最終表現為政治上的高度統一。即使在分裂時期，割據政權的統治者，也多視大一統為己任而為之作不懈的努力。就是秦末農民起義，農民出身的劉邦建立大漢政權以後，他也孜孜以求，誌在統一全國。漢武帝時期，董仲舒繼承和發揚了儒學精神。董仲舒的社會理想是建立一個大一統的和諧安定社會。大一統是他所述《春秋繁露》的根本含義。他說：“春秋大一統者，天地之常經，古今之通誼也。”（《漢書·董仲舒傳》）他認為《春秋》最重“元”，“謂一元者，大始也。”“元”是大一統的開始，並且還認為“唯聖人能屬萬物於一而係之元”。因此他希望漢武帝是聖人，能成就建立封建大一統帝國的功業。大一統的根本特征是思想的統一。董仲舒在他的賢良文學對策中，向漢武帝提出“推明孔氏，抑黜百家”的建議，主張“諸不在六藝之科、孔子之術者，皆絕其道，勿使並進。”漢武帝采納了這一建議，於是儒學便從此成為官學，上升到至尊的地位。