總括而言，唐以前，孔廟祀典以“孔、顏”連稱。迄韓愈立意抬高孟子地位，到了北宋，王安石等人複推波助瀾，孟子遂得配享孔殿，“孔、孟”連稱漸有取代“孔、顏”之勢。元文宗，改賜孟子為“亞聖”，顏子為“複聖”，顏、孟易位，大勢底定。從此，“孔、孟”並稱，荀子隻得寄人籬下。
但此後，荀子則無此幸運，甚且每況愈下。因為自此以降，學風日趨嚴謹。新興的理學奉孟子為宗師，“性善”論取得絕對的優勢，成為裁量學術的準繩。北宋的程頤便說道：“荀、楊性已不識，更說甚道？”最為生動。儒門規模的窄化，連秉持“性三品”說的韓愈，最終都遭到“以為文人則有餘，以為知道則不足”的譏評，遑論荀子與揚雄了。
要之，理學之興，源自伊洛。程頤對韓愈褒貶不一，但對荀、揚則頗致微詞。他認為韓氏隻說荀、揚之學“大醇而小疵”，責人甚恕。首先，他抨擊揚雄臣仕莽（王莽）賊，大節已虧，此一論調，令得揚雄極早中箭下馬。揚氏終在明洪武二十九年（1396），遭到明太祖罷祀。
比起揚雄，荀子則無此政治忠誠度的瑕疵，但在學術的評價，程頤同樣不稍寬饒。程氏評道：
荀卿才高學陋，以禮為偽，以性為惡，不見聖賢。
因此他歸結：聖人之道，至荀卿不傳。他的追隨者南宋理學大師——朱熹附和道：“荀卿則全是申韓”，並說荀、揚自不可與王（通）、韓（愈）二人同日而語。李元綱在乾道六年（1170）所作的《聖門事業圖》中，即將孟子納入“曆代聖賢”，“傳大中至正之道，行之萬世而無弊”；然而荀子、揚雄卻與瞿曇、老聃、楊朱、墨翟諸異端並列“獨行聖賢”，視“其道可救一時，不可傳於萬世”。根據祀典“有功德於一時者，一時祀之；更代則已”。準此，韓氏日後在孔廟猶得保有一席之地，而荀、揚之去祀隻是遲早的問題。因為學術異同尚可酌商，惟“從祀大典，乃乾坤一大事”，素為儒生必爭之地。荀、揚忝列從祀，適為攻擊的標的。
首先發難的，即是宋末的朱學後勁——熊鉌，他不隻抨擊揚雄仕莽之非，並疵議荀子：
以性為惡，以禮為偽，大本已失，更學何事？
熊氏且無意間透露該時的孔廟祀典實出自韓氏的“品論權衡之定”，而應予改正。他並建議“五賢祠”的祭祀亦應一體更張，以理學家周、程、張、朱取代舊有荀、揚諸儒。這不啻代表學風的驟變。必須點出的，自熊氏提出去祀荀、揚的議論，此後撻伐之聲，便不絕於耳。
明初宋濂的《孔子廟堂議》一文，為有明一朝孔廟更製所本；該文即接續熊氏之論，以“荀況之言性惡，揚雄之事王莽”，應屬罷祀之列。再者，罷祀荀、揚之見，同樣見諸該時王禕的《孔子廟庭從祀議》，其理由通是“荀況之言性惡，揚雄之事新莽”。如前所述，揚雄在明初終遭去祀。但儒者並未以此為滿足而放過荀子，程敏政於弘治元年（1488）上疏朝廷的奏議中，特大加撻伐，以為荀況與揚雄的缺失實相伯仲，進而堅持：
（荀）況以性為惡，以禮為偽。以子思、孟子為亂天下，以子張、子夏、子遊為賤儒，故程子有荀卿過多，揚雄過少之說。今言者欲並黜況之祀，宜也。
次年（弘治二年，1489），張九功所上的《裨補名教疏》，荀子尤罪加一等，他言道：
若蘭陵伯荀況，言或近於黃、老，術實雜於申、韓。身托黃歇，不羞悖亂之人；學傳李斯，遂基坑焚之禍。以性為惡，以禮為偽，以堯舜為矯飾，以子思、孟子為亂天下者。是以程子譏其甚偏駁，而朱子書為蘭陵令，乃係之以楚，以深鄙之也。
因此，張氏極力建議罷黜荀子之祀。
值得留意的，與前數疏相較，張九功在抨擊荀子的言思之餘，多羅列了一項罪名：荀子“學傳李斯，遂基坑焚之禍”。要之“荀子學傳李斯”係事實的陳述；司馬遷於《史記》中亦載有李斯“乃從荀卿學帝王之數”之語；但並未為此而牽連荀子。然而張氏謂“遂基坑焚之禍”則是徑行因果的斷言，終導致去祀的取舍。其實，荀子並非頭回蒙此不白之冤；早在唐朝陸龜蒙於其《大儒評》中對“世以孟軻氏、荀卿子為大儒”甚不以為然，他說道：
（李）斯聞孔子之道於荀卿，位至丞相，是行其道，得其誌者也。反焚滅詩書，坑殺儒士，為不仁也甚是。
職是，陸氏認為荀子愧為“大儒”，且“不如孟軻”。
尤有進之，宋代的大文豪蘇軾火上添油，令荀子益形惡名昭彰，他說：
昔者常怪李斯事荀卿，繼而焚滅其書，大變古先聖王之法，於其師之道，不啻若寇讎。及今觀荀卿之書，然後知李斯之所以事秦者皆出於荀卿，而不足怪也。
蘇軾謂“李斯之所以事秦者皆出於荀卿”，張九功的上疏即將此一論點吸納進去。在嘉靖九年（1530）張璁希逢迎明世宗旨意，所建構的孔廟改製中，荀子終難逃一劫，慘遭罷祀，遂成曠古之典。
析言之，嘉靖孔廟改製固然夾帶有人主的政治企圖，但在進退諸儒一事卻能順應當時儒學思潮的變化，以致時儒對孔廟禮數的減殺雖頗致微詞，惟對從祀諸賢的進退卻少有怨言。因此後世至以“意雖私而論則公”許之。試以胡居仁（1434—1484）為例，他曾大肆抨擊荀卿“隻性惡一句，諸事壞了；是源頭已錯，末流無一是處”。羅欽順（1465—1547）也認為荀子得罪聖門甚多，而韓愈僅謂“擇焉而不精，語焉而不詳”，“未免過於姑息”。凡此皆見證明代批荀的激化。而細繹該時的從祀標準，無非是以“傳道之儒”取代了“傳經之儒”，而其所標舉的“道”正是理學一係的“孔孟之道”，而非荀子之道。
自嘉靖改製之後，荀子被逐出孔庭，飲恨至今近五百年。然而在漫漫長夜之際，不無平反之舉。例如，清中葉以下即陸續出現荀子複祀孔廟的呼籲。這自然涉及學風的變遷，舉其要包括：明清之際，諸子學的興起；荀子本為先秦子學的重鎮，其受注目蓋極其自然。明儒歸有光（1507—1571）在重加整理《荀子》一書時，說道：
當戰國時，諸子紛紛著書，惑亂天下。荀卿獨能明仲尼之道，與孟子並馳。……至其精造，則孟子不能過也。自揚雄、韓愈皆推尊之，以配孟子。迨宋儒，頗加詆黜，今世遂不複知有荀氏矣。
而入清以來，《荀子》版本考訂則蔚為風潮，此與明代“削荀”的風氣，適成強烈的對比。
其次，乾嘉考證學的盛行，經學當令，故昔為傳經大儒的荀卿，遂得再現風華。時人汪中幾乎把經書傳承全歸美荀子一人。他在《荀卿子通論》中，開宗明義即倡言：“荀卿之學，出於孔氏，而尤有功於諸經。”他並申言：“六藝之傳……周公作之，孔子述之，荀卿子傳之，其揆一也。”要知汪氏此文影響後世深邃，對荀子的重新領會定起了作用。
最後則是清代禮學的複起，而以“隆禮重法”著稱的荀子，必不致缺席。禮學名家淩廷堪（1755—1809）即分疏“荀氏言仁，必推本於禮”，並說：
（孟子）僅得禮之大端焉耳。若夫荀卿氏之書也，所述者皆禮之逸文，所推者皆禮之精意。
故謂“後人尊孟而抑荀，乃自放於禮法之外”。晚清荀學集大成者——王先謙（1842—1917）亦證言：“荀子論學論治，皆以禮為宗。”反觀連維護孟學甚力的康有為（1857—1927）都承認“孟子禮學甚淺”。
以上諸因素均一一反映在重祀荀子的建言中。試援嚴可均（1762—1843）《荀子當從祀議》和姚諶（1835—1864）《擬上荀卿子從祀議》為例。
首先，嚴氏與姚氏均異口同聲駁斥蘇軾以來厚誣荀卿之學導致李斯暴秦的謬論，蓋所謂欲加之罪。其實，在二氏之前，縱使清初力主“近罷陽明，遠罷象山”的閻若璩，亦坦承荀子與陽明生平均無可疵議，而荀子遭受罷祀純係“性惡”一事。