按照古人的信仰，社主是不能封閉於房屋之中的，必須置於露天接受大自然的風吹日曬，這樣木主難以久存，因此有些地方的社主改用靈石。《宋史·禮誌五》：“先是州縣社主不以石，禮部以謂社稷不屋而壇，當受霜露風雨，以達天地之氣，故用石主，取其堅久。”說的就是木主改為石主的原因。當然這不能認為是以石為社主的惟一理由。有些地方本來就有崇拜石頭的傳統，他們采用石主自然是傳統使然。如若追根溯源，用石為主也是有其思想基礎的。社神是土地神，而石為土所生，被古人認為是土地之精。《藝文類聚》卷六引晉楊泉《物理論》：“土精為石。”選取土地之精作為社神的表征是非常自然的。
石主的出現年代也很古老。《淮南子》中說：“殷人之禮，其社用石。”1959年在江蘇銅山縣丘灣發現一處商代社祭遺址，麵積約75m3，中心豎4塊天然大石塊，中間一塊最大，略呈方柱形，高1m，寬厚約0．23m。周圍有人骨20具，人頭骨2個，狗骨12具，頭向都對著中心的大石塊。學者門認為中間的大石塊是祭祀的中心，即社主，人骨狗骨是祭祀時的犧牲。這表明殷人社用石主的說法是有根據的。1977年在連雲港市西南9km的將軍崖發現了一處古代岩畫遺跡，研究者根據岩畫的風蝕程度、製作方法等情況，判定這是原始社會時期的作品。岩畫刻鑿在山岩間的一塊平地上，中心立有三塊巨石，大的一塊長4．20m，寬2．60m；小的兩塊，其一長2．20m，寬1．80m；另一塊長2．20m，寬1．40m。據當地農民講，從前還有一塊大石擠在一起，前些年被搬掉了。這跟丘灣社祀遺址非常相似，也是四塊大石，而以中間一塊最大。最大的這塊石頭自然也是社主。《漢書·眭弘傳》載：“孝昭元鳳三年正月，泰山萊蕪山南匈匈有數千人聲，民視之，有大石自立，高丈五尺，大四十八圍，入地深八尺，三石為足。石立後有數千白烏下集其旁。”《三國誌·魏書·公孫度傳》也有類似的記載：漢初平元年（190年），“襄平延裏社生大石，長丈餘，下有三小石為之足。”“大石自立”“生大石”的說法自然是為神化石主而編造的，但社石也是四塊，一大三小，這跟考古發現的社祀遺跡是一致的。“白烏下集”的說法跟辛棄疾《永遇樂·京口北固亭懷古》中“神鴉社鼓”的描寫相似，指烏鴉下集於社前來吃祭品。
關於先秦是否有石主的問題，前人遊移未決。《呂氏春秋·貴直》：“（晉）圍衛取曹，拔石社。”孫鏘鳴曰：“石社，地名。梁（仲子）謂社用石，非。”於省吾雲：“梁說是也。《周禮·大司徒》：‘設其社稷之壝。’崔靈恩雲：‘社主用石。’《水經注·穀水》：‘禮：天子建國，左廟右社，以石為主。’”陳奇猷引了上麵兩家的意見後說：“‘石社’未詳，此似以孫說為近。”我們認為先秦存在社用石主的現象是不成問題的，因此，“石社”無論理解為石主之社還是地名並不矛盾。石社之地是由此地有石主之社而得名，攻占了石主之社也就攻占了石主之地，反之亦然。古代戰爭中位於郊野的叢社往往是侵伐者首先攻占的地方。《禮記·檀弓下》：“吳侵陳，斬祀殺厲。”鄭玄注：“祀，神位有屋樹者。”“屋”指宗廟，“樹”指神社。《左傳》襄公二十五年：“初，陳侯會楚子伐鄭，當陳隧（徑）者，井堙木刊，鄭人怨之。”所謂“木刊”恐怕不是指砍倒普通的樹木，應是指砍伐塚樹社叢。《六韜·略地》：“塚樹社叢勿伐，降者勿殺，得而勿戮，示之以仁義，施之以厚德，令其民曰：‘辜在一人。’如此則天下服。”這裏將不伐塚樹社叢作為戰爭中的一種懷柔政策，這從側麵反映了戰爭中常用刊木斬祀作為打擊敵方的有力手段的現實。陳侯的刊木正是指此而言。《史記·秦本紀》：“寧公二年，公徙居平陽，遣兵伐蕩社。”《左傳》僖公二年：“虢公敗戎於桑田。”杜預注：“桑田，虢地。”《史記·田敬仲完世家》：“桓公午五年，齊田起兵襲燕國，取桑丘。”《淮南子·本經》：“舜之時，共工振滔洪水，以薄空桑。”《初學記》卷九引《歸藏·啟筮》：“蚩尤出自羊水……登九淖以伐空桑。”先秦時期，神社常常建在桑林裏，“桑田”“桑丘”“空桑”都是指桑林神社所在地。這些戰爭無論是現實中的還是神話傳說中的，之所以都發生在神社，原因就在神社是一個部族或國家的守護神，占領或摧毀了敵方的神社，就斷絕了敵方與天地的聯係，失去了神靈的佑護，從而使敵方首先在精神上族滅國亡。《呂氏春秋）中的“拔石社”應該就是指這種情況。清黃汝成《日知錄集釋》卷五“蒞戮於社”條下引惠士奇之說雲：“然則社主春秋以前皆用木，秦漢以後或用石與？”此說非是。