道恒見差遣的人去而不返，又續遣第二人，如此再三，都有去無回。過了一些天，道恒在路上遇見這些派出的弟子，便責問說：“我用了許多功夫教導培養你們，猶如打開了你們的眼目，怎麼竟敢做出這種背師的事來？”弟子們答道：“我們的眼目本來是正的，因為聽了您的教導才變斜了。”道恒憤怒已極，更加痛恨神光，不惜買通地方官加害神光。神光受到迫害，險些送了性命。
另據《祖堂集》、《傳燈錄》等說，排擠和加害神光的是一位辯和法師。據說神光晚年，因環境惡劣，隻好改變自己弘法的形式，采取“順俗”的辦法。此時神光已付法給三祖僧璨，又回到鄴都，韜光養晦，變易形儀，隨宜說法，或入諸酒肆，或過於屠門，或習街談，或隨廝役，一音演暢，四眾皈依，如是長達三十四年。有人驚怪：你這個老和尚，丟佛門的臉哪。神光坦然應道：我自調心，關你屁事！
神光長於辭辯，隨著他的影響一天天擴大，他的弘法活動遭到了當時拘守經文的僧徒的攻擊。他在管城縣（河南鄭州）匡救寺山門前“談無上道”時，人很多。其時，辯和正在寺內講《涅槃經》，其學徒中許多人都悄悄地去聽慧可說法，辯和極為憤怒，便向邑宰翟仲侃誣告他妖言惑眾，破壞講經法會。翟仲侃聽信了辯和的讒言，對神光加害致死。
迫害神光的究竟是道恒還是辯和，或是同為一人，都難以考證了。南懷瑾先生認為二祖在當時遭嫉而致死的際遇，尤有過於達摩大師的慘痛。千古學術意見之爭，尤甚於幹戈戰伐之毒。因為受到排擠和迫害，神光不得已流離於鄴、衛之間（河南安陽至汲縣一帶），不敢再公開地大規模地傳教。正由此緣故，神光晚年弟子不多。
南懷瑾先生指出，縱觀神光的一生，以世俗的角度來看，神光四十歲左右得法開悟，至鄴城弘揚禪道三十餘年，至此已是七十多歲高齡，而“四眾皈依”，也可稱得上是年高德劭了。何以在這樣的年齡，這樣的環境中，他又忽然“變易儀相”而還俗，有時候進酒店，有時候在屠戶，還常到鬧市街區同下層社會的人瞎混呢？難道他是動了凡心，真個要還俗？他的那句“我自調心，何關汝事？”是否意味著三十多年前，他在達摩大師處所得的“安心”法門仍是靠不住的？必須要到鬧市、酒店、屠戶才能“安心”嗎？如此也使人對禪宗的“言下頓悟”“一悟便休”產生懷疑。其次，神光由三十多歲舍俗出家開始，到了七十多歲又去混俗和光，且在匡救寺的三門外講什麼“無上道”，硬要擋了當時在寺院中講經的法師的財路。難道說真是活得不耐煩，非要自尋死路不可嗎？凡此種種，都是一個個很大的問題。有人說“劍樹刀山為寶座，龍潭虎穴作禪床；道人夥計原如此，劫火燒來也不忙”，即便是這種情形，怕也夠不上神光的境界吧。
◎三祖僧璨大師
當時的僧璨大師，常以避世高蹈，隱姓埋名的姿態出現，猶如神龍見首不見尾，留給後人以無法捉摸的一段史料，而留下太多的疑竇。
——《禪話》
禪宗作為佛教的一個支派，自達摩西土東來，二祖慧可斷臂求法，傳至僧璨，方使之中國化，暢行於世，成為漢傳佛教中最具中國特色的宗派之一。
禪宗三祖僧璨，關於他的身世，《楞伽師資記》用了八個字來概括——“罔知姓位，不測所生”，也未見唐道宣和宋讚寧給其立傳，《祖堂集》關於僧璨的生平隻有簡單的幾句話，但據信應是北齊時代生人。僧璨原是一位虔誠信仰佛教的居士，有關他到二祖神光處請開示佛法的典故，《傳燈錄》的記載相對較為詳細。南懷瑾先生認為，有關中國禪宗史料的專書和曆代禪師的語錄，乃至禪宗公案的彙書等，在談及二祖神光傳授道統衣缽給三祖僧璨大師的事時，始終語焉不詳。至於曆來傳述三祖的《信心銘》一篇，則又如司馬遷在《伯夷列傳》中所引用《采薇》之歌一樣，都是對某一人某一事唯一值得征信的史料，可資存疑者的參考而已。