吾故望有知其全者以療教，則必集大成以為主，非可平分也。溯其原同，則歸於易耳。萬世者，明體適用，原無無用之體。孔子下學而上達，詳於用而不盡用。其最上者，俟人自得。……老子則專主不用為曲全，不得已而後應耳。平懷論之，善世之心一也。門庭設施，當以好學為正大中和，各安生理，本末內外，一致隨時。而以二氏之迅方資後儒之痛癢，懸遠峰之青，以為城郭江河中之必不可少者。盡心，知命，不二生死，有何殊耶？吾所謂神，神不離跡，跡以神化，其跡亦神。既有全神，何惜補不全之跡乎？留輪回之因以助神道之教，以縱橫之逼激補正告之拘牽，以懦弱製獨尊之矜悍，而以棒喝迫曳尾之退避。洛下、考亭不妨樹拂拈椎，象山、慈湖當證心於象數；注我自得矣，獨不念六經賤而私心橫耶？修武、廬陵宜過牢關，臨濟、趙州何嫌上學。兩而參之，博約並用，時益時損，時艮時震。無妄蓄識，足繼見心；修詞立誠，豈非乾三人道之極，德業之知終哉！自強不息，無住生心；精義入神，開物成務。無可無不可，無為而無不為也。嗟乎全矣！然未敢望也。（《象環寤記》，《東西均》附錄）
這一長段話，是他關於三教關係的集中表達，也是他散見於各篇對儒釋道的批評的一個總彙。他的意思是，三教各有所偏，必集中了三教優點的人才可望糾補，而所謂集中三教優點的人，必以儒為主。而儒又以易為最全者，因為易可以明體達用。孔子之學下學而上達，以日用事為為學，由此上達天命。其向上一著，俟人自得。老子以懦弱謙下，守柔貴雌，不用世為教，這也有其不得已之苦衷，與儒家善世之心同。但其門庭設施當改為好學，方為正大中和，並保持其隨時俯仰的優點。儒家須得釋道補助之、療治之，作為它不可少的資養。說到底，儒家之盡心、道家之知命與佛家之不二生死是同一的。佛家的生死輪回說可以補助儒家之神道設教，禪宗的機鋒公案之縱橫激逼可以補助儒家教法正麵訓導的拘牽，道家的懦弱謙下可以糾正佛家的惟我獨尊，禪宗的當頭棒喝可以糾正道家的避讓退守。理學中程頤、朱熹的傳注不妨吸收禪宗的當機省悟，陸九淵、楊簡的心學不妨植入象數以糾正其師心自用，鄙棄經典。辟佛者宜閉關以體會佛家修行之法的好處，禪宗宜多讀經典，以明了禪教本來一致的道理。總之，各家各派互相補足，博約並用，損益兼舉，動靜互濟，自強不息與無住生心融通，精義入神不遺開物成務。這就是方以智對百家眾藝的主張。他的主張中明顯含有儒釋道三教統會、禪教統會、理學心學統會的意思。
方以智關於三教的看法，受他對“神”“跡”關係的見解的製約。他認為，儒釋道皆道體一個方麵的表現，所以皆跡，拘守跡而不知神，則不知最上乘義。三教皆跡，亦三教皆神。以其皆跡，故不妨以跡救跡；以其皆神，本不須救，聽之任之。在方以智看來，儒釋道三教皆可以跡救跡，故皆藥也。佛教以解脫對治人的纏縛嗜欲，道教以懦弱謙下對治人的爭強好勝，儒家以救世對治釋道的出世。然藥亦因藥致病，故雖可互相療救，亦不可執定。方以智對於三教的態度是：“今而後儒之，釋之，老之，皆不任受也，皆不閡受也。……何不曰天地大矣，或亦當有此無用之用。”（《東西均·神跡》）不住一法，亦不離一法。非釋非老非儒，亦釋亦老亦儒，不偏於跡，亦不偏於神。
但方以智又認為，從事事無礙的角度著眼，儒釋道三教的教義是相通的，所以三教本一，不必言合，他借王宣之口說：
無待貫待，待即無待，明方之本圓，則知方之即圓矣。……佛生西，孔生東，老生東而遊西，而三姓為一人。人猶有疑者，謂東異於西，西異於東，人豈信乎？是謂大同。（《象環寤記》）
如果說，三教各有其教義，但三教之教義可以互相補充修正，那麼，三教教義本來相通，不必合一而無不合一是反，反則“山自山，海自海，補毋乃迂！”（《東西均·神跡》）從三教教義本通這一麵說，三教皆可丟棄其本性，成一亦此亦彼非此非彼之不可思議物。而從三教各有其義，各執其義而不肯化這一麵說，三教又堅硬不通。綜合此二義，可以說，三教皆“棘栗蓬”。“棘栗蓬”者，隨風而轉，不知何底，遍身設防，難以把握，盤錯糾結，不可理喻。方以智說：
轉八十轆轤中者，“玆燚黈”也。鑿而破之，破而補之，破則悟，悟則補。象數以表不可言之理而至於無象數，聲音以通不可象數之微而至於無聲音。言語道斷而未嚐不言，色即是空，貞悔之反對也。（《東西均·玆燚黈》）
“玆”者，玄之又玄，黑也，緇也。燚者，四“火”二“炎”之合，火為紅色，表紅也。“黈”者，黃也。黑代表佛家，紅代表儒家，黃代表道家。《象環寤記》中所托為儒釋道三教之代表者，即赤老人、緇老人和黃老人。遍中國之域中，莫非三教。互相吸收，互相纏結，融而為一，總為一棘栗蓬。故須鑿破，鑿破而後能補足之。鑿破方悟自己，悟則思補足之。但須知補足是在“權法”層麵，在此層麵猶有象數、聲音、言語。究竟層麵則無象數、無聲音，言語道斷，故色即是空。如物之不可說之域為一棘栗蓬，對此可以“交輪幾”等人為的工具鑿破之，但鑿破後仍是一“棘栗蓬”。所以，對於儒釋道三教，補足亦各自如如，不補亦各自如如，各自如如則不見補而自然補。最後的境界乃“本無一法”，“打翻三諦”，“白茫茫大地真幹淨”。《象環寤記》在赤老人、黃老人、緇老人辯詰之後設為一仙女之言，代表方以智對此境界的描述：