宋人王逵在其《蠡海集》中雲：九月廿八日，乃五顯之神生日。《明會典》中載，洪武中，五顯靈順廟，每歲四月八日、九月廿八日，遣南京太常官祭。九月廿八日祭祀五顯是因該日是其生日，但四月八日是佛祖生日，於此日也對五顯祭祀，說明已將五顯這一民間神靈納入到佛教之中了。
到了明清時，江南又出現了關於五通神來曆的新傳說。鈕玉樵在《觚剩》卷一中雲：“舊傳明祖既定天下，大封功臣。夢兵卒萬千，羅拜殿前，曰：‘我輩從陛下四方征討，雖歿於行陣，夫豈無功？請加恩恤。’高皇（朱元璋）曰：‘汝固人多，無從稽考姓氏，但五人為伍，處處血食足矣。因命江南立尺五小廟祀之，俗稱五聖祠。是後日漸蕃衍，甚至樹頭花間，雞塒豖圈，小有萎殃，輒日五聖為禍。’”
江南民間的另一傳說——劉伯溫鬥五聖，大概是黃河流域信仰五聖的開始。
傳說，劉伯溫在少年時期很是頑皮，在他上學的路上要經過一座五聖廟，劉伯溫想試一下五聖究竟靈不靈。便在廟上撒了一泡尿。還讓五聖當酒喝。劉伯溫命裏有宰相的根基，這五聖哪敢不聽，將尿喝了也不敢怎麼樣。劉伯溫一連幾天都是這樣欺侮五聖，五聖實在沒有辦法，就到劉伯溫的先生那裏告了一狀。先生聽後，又怕又怒，把劉伯溫打了一頓板子。劉伯溫越想越氣，又過五聖廟時，他不僅讓五聖喝酒（尿），還讓五聖吃飯（大便）。這次真是欺神太甚了，五聖又向先生告了一狀，劉伯溫當然是又挨了一頓板子。劉伯溫更不服氣了，就寫了一紙判令，讓五聖充軍三千裏。寫好後將紙貼在廟上，五聖隻得充軍，來到黃河邊上，不敢擅過江南。
後來，劉伯溫受命治理黃河，可怎麼也治不好。發現原來是五聖和他搗亂。劉伯溫便命五聖再回江南去。五聖說，要他們回去，就得給他們蓋一座新廟。這廟要一箭之高，一箭之寬，一箭之夷。他們所說的“一箭”：就是射去一箭的距離。世上哪有這麼大的廟宇呢？他們是在刁難劉伯溫，而且還要磚牆磚壁。劉伯溫聽了後，故意誤解，順手取出一箭，在地上比畫了一支箭的高度、長度和寬度，讓他們就住在這樣的廟堂裏，而且還是穿牆穿壁。五聖自知給劉伯溫留下了話柄，與他申辯不過，隻好回江南去了。
五聖回到江南後住進了四麵透風，僅有一箭之高寬的“廟堂”之內，實在受不了這口氣，就告到觀音那裏。觀音察看後，不但沒同情他們，還說這屋不錯。五聖忍不住說：“觀音，那你來試一試。”觀音就等這句話，隨即進到屋裏，坐在正位上就不出來了。五聖方知上當，隻得無可奈何地坐在了次位。
在這一傳說的影響下，各地的五聖祠都是一箭高，一箭寬，一箭長，而且牆上連泥都不上，到處都是破洞。如果廟中有觀音時，觀音必坐正位，五聖列旁。五聖在這座破廟中經常是穿牆穿壁地往來。在“穿牆穿壁”的住宅中居住的人肯定是窮人或者是破落戶，因此，這些人家也總是有鬼邪作祟。有鬼就要驅，越驅人越窮，越窮，鬼就越要來。“越窮越見鬼”這句諺語就是從這裏來的。
自那以後，五聖廟村村都有。有些民間信仰將五聖與土地神合二而一，以為五聖乃“五方五土五穀”之神的敬稱。這種合祀廟在民間一般稱為“五通”。有了這樣的說法，五通便稱霸一方，把土地神的神權也獨攬過來，為所欲為。所以，它是集土地神權與五通邪惡於一體的惡神。
北京的民間信仰將五通神與五顯神相結合後，使用了五通之形，五顯之名，屬於正神的性質。蘇州的五通神與五顯神相結合後，則是以五顯的形象出現，地位、廟宇則與五通這一邪神的性質一樣。所以，後世便有了五聖、五顯、五通的名稱。
北宋政和元年，朝廷曾下詔禁止過五通信仰，命民間祀五顯。由於朝廷有禁令，地方官員中也有禁信五通的強硬官員。一個是明代的曹鳳，在江南下令禁止五通信仰，將廟像拆毀無遺。清康熙年間的湯斌也曾禁毀吳地的五通淫祀，毀五通神祠，將像投入到諸石湖之中。他在《奏毀淫祠疏》中雲：“蘇（州）鬆（江）淫祠，有五通、五顯、五方賢聖（五聖的另一種說法）名號，皆荒誕不經。而民間家祀戶祝，飲食必祭。妖邪巫覡，創作怪誕之說，愚夫愚婦，為其所惑，牢不可破。蘇州府城西十裏，有楞伽山，俗名上方山，為五通所居數百年，遠近之人，奔走如鶩，牲牢酒醴之餉，歌舞笙簧之聲，晝夜喧鬧。男女雜遝，經年無時間歇。歲費金錢，何止數十百萬。商賈市肆之人，俗謂稱貸於神，可以致富。借直還債，神報必豐。諺謂其山曰肉山，其下石湖曰酒海。蕩民誌，耗民財，此為最甚。更可恨者，凡年少婦女有殊色者，偶有寒熱之疾，必曰五通將娶為婦，而其婦女亦恍惚夢與神遇，往往羸瘵而死，家人不以為哀，反豔稱之。每歲常至數十家，視河伯娶婦更甚矣。”
湯斌在江南大毀淫祠之舉得到了康熙皇帝的大力支持。湯斌的上疏被康熙諭旨並檄文各省，同禁五通等淫祠。江南土木之俑或投火中，或風濁流，五通之祀一時銷聲匿跡。康熙此舉，為國人除了害。後人也因湯斌毀祠一事認為五通神見了湯斌就怕得要死。所以又出現了不祀五通，而將湯斌神化，用他來驅趕五通邪神。
湯斌死後二三十年，崇祀五通之風又死灰複燃，之後，雖又有幾次禁毀，但收效不大，直至民國年間仍有其香火。
在傳說中將本屬民間神靈的牛馬神牽扯到佛教中去，說他們是牛頭馬麵。牛頭馬麵究竟是幹什麼的？據《楞嚴經》中所雲：“牛頭獄卒，馬頭羅刹，手執槍矛，驅入城門。”將馬頭易為馬麵。牛頭亦稱為阿旁。《五苦章句經》雲：“獄卒名阿旁，牛頭人身，兩腳牛蹄，力壯排山。”《新唐書·路嚴傳》：“俄與韋保衛同當國，二人勢動天下，時曰其黨為‘牛頭阿旁’，言如鬼陰險可畏也。”但實際上牛頭馬麵在陰府隻不過是聽差的鬼吏而已，並沒有如此可怕。《子不語·洗紫河車》就是寫牛頭阿旁故事的，說，陽世間的皂隸丁愷誤入陰曹，看見他的亡妻在陰河中洗紫菜。紫菜就是人間所說的胞衣。據說，這本來是她在陰間的丈夫閻羅殿前隸卒牛頭鬼的任務，他卻交給她，讓她代洗。亡妻將丁愷攜家藏匿起來，不料被回家來的牛頭鬼發現了。丁愷驚恐地向牛頭鬼哀求，牛頭亦不甚怒，還為丁愷的出陰還陽四處奔走，用鬼酒鬼肉招待他，最後親自將丁愷送出陰界，並贈給丁愷某一富人脊背肉一塊，丁愷還陽後持肉治愈了那個人的病，得了五百金的賞錢。
五聖在民間傳來傳去說法也愈發的多了起來。筆者家鄉曾經建有五聖廟，其規製一律依五聖廟製建造，但已不叫“五聖堂”，或“五通祠”、“五顯祠”了，而叫做“馬王廟”，將五聖中的四聖取而不用，僅存一“馬王”。他的地位竟連土地神都不如，土地廟尚且是建在大山之上，而這個“馬王”卻是建在土地神之下的一塊狹窄的地帶上。人們這樣建置五聖祠的原因，一則曆朝已有廟製規定，另則五聖的名聲不好，所以而為之。也沒有專門的祭祀日，隻是在人們祭祀土地神時才順便對它祭祀一下，它是沾了土地神的光。
@@中冊