詎知後世之門庭張網者，偶竊一知半見，謂入悟門，便住門限上，登曲錄床，此生不可複下。習便遮遣，偏畏多聞，三學十支，揮斥禁絕。一語及學，則（顴骨）為之赤；稍涉質核，曰：“落教家也，罣義路矣。”何況通三教，收一切法乎？（《東西均·道藝》）
門庭張網者，以一家自限，拘守門戶，無往來遊學增廣見聞。住門限上、登曲錄床，謂執著一偏之見，抱殘守缺終生。習便遮遣者，習熟於否定法，以一空字抹去積年苦求所得。此類僧人以漸修為大忌，不可語學。吐納儒釋道三教，收攝教門宗門一切法而融會貫通者，何能夢見！方以智的誌願是，集古今中外一切知識，從中提煉出某種識度，然後據這種識度對一切現象進行重新判釋。這就是他所謂“且劈古今薪，冷灶自燒煮”所表達的意思。
四一與二與三
從以上的論述可以看出，方以智既是一個知識淵博的學問家，也是一個哲學家。他的哲學是中國傳統的辯證思維和實證思維的混合物。他的思維方式中，實證和思辨並重，呈現出思想縱橫恣肆、知識底蘊深厚、思辨的廣大與實證的精微相結合的特點。他的哲學體係，以一二三、交輪幾、統泯隨為中心，以隨說隨歸、不落一地為歸結。
1.“二”方以智曾說：“一與二為三，此教父也。”（《東西均·三征》）意為，一、二與三的關係，是他的哲學的核心，他的其他命題無不可歸到這三者中來，無不是對這三者的不同側麵的闡發。方以智哲學中一二三都是重要範疇，一指對立雙方的統一。二是統一中的二個對立麵，矛盾著的兩方。三指超越此對立麵的矛盾統一，在更高的層麵上與之形成新的對立的絕對體。在方以智眼中，一切皆可視作對待之物，一切事物皆以相對待的形式存在，他說：
一不可量，量則言二。曰有曰無，兩端是也。虛實也，動靜也，陰陽也，形氣也，道器也，晝夜也，幽明也，生死也，盡天地古今皆二也。（《東西均·三征》）
這是說，統一體是不可量度的；可以量度，可以用感官感知的，皆是對立之物；兩間無無對立者。他在《東西均》的《反因》篇中也說：
晝夜、水火、生死、男女、生克、剛柔、清濁、明暗、虛實、有無、形氣、道器、真妄、順逆、安危、勞逸、剝複、震艮、損益、博約之類，無非兩端。
這些互相反對的範疇包括了自然現象、人的生理心理現象、社會人文現象等，包容十分廣泛。方以智認為事物的又對立又統一的性質是世間根本的道理，對立統一是事物本身具有的，他說：
吾嚐言天地間之至理，凡相因者皆極相反。何其顛倒古今而臆說乎？此非我之臆，天地之臆也。（《東西均·反因》）
這裏方以智提出了一個深刻的哲學命題：凡相因者皆極相反。因指根據，相反相因，指以與自己相反的東西為存在的根據。相因者皆相反，互為根據的雙方必是異質的，對立的，如生死、男女、剛柔等。這是現實存在的實際情況，不是哲學家的向壁虛造。相反相因可用一與二、奇與偶來表示，這就是：“千萬盡於奇偶，而對待圓於流行。夫對待者即相反者也。”（《東西均·反因》）天地間皆相反之物，而相反者必相因。相因相反者在運動中必圓通為一。方以智認為，這個道理雖極平常，但溺於耳目聞見而無形上思考的人則看不見，因此需要打破實證的局限，進入哲學的慧境，這就是他所謂“開頂門背麵之目”，也就是他的“擴信”所要達到的目的。“擴信”者，破舊有結論，開睿識新見，除耳目之障，信難信之至理。他的擴信秘訣是：“小中見大，大中見小，虛中見實，實中見虛，長中見短，短中見長，此中見彼，彼中見此。”（《東西均·擴信》）也就是，世界上的事物，必在相反相因的關係中存在，必在相對待中才能顯出，才有意義。相反者相因是一切物的存在形式，所以方以智用以展開他的哲學討論的，也是這樣成對的範疇，如奇與庸、全與偏、神與跡、道與藝、張與弛、象與數、疑與信、源與流、消與息等。這些互相對待的範疇構成了方以智哲學的各個側麵，其核心觀念是相反相因。
方以智的相反相因是存在著層次的，就是說，對待著的兩方各包含對待，如天地為一個對待，天地中各有陰陽，陰與陽中又各有對待，如此層層無盡。方以智說：“兩端之中，又有兩端。”（《一貫問答》）這和王安石“物有奇偶，耦之中又有耦”的思想是一致的。而在一個對待中，對待之兩端所起的作用不同，二者不是均衡的，而是有主次、輕重的區別。方以智說：“衍古太極者，始皆陽而無陰，陽之所不足處，則為陰，蓋主陽也。”（《東西均·公符》）意為，太極最初隻有陽，而陽所不足的，就是陰。在這二者中，陽是主動者，陰是補足者。他還說：
其先陰者，陽藏陰中，陰拱含陽，由靜而動，破陰而出。所謂奇衝偶為參兩，天貫地中而周乎地外者也。當陰含陽之時，亦重陽也；當陽衝陰而包之之時，亦重陽也。自此對待相交而生生不已，皆陽統陰。猶天統地，夫統妻，君統臣也。（《東西均·公符》）
這是說，陽的活動總是最先的，即使是陰處於顯、陽處於隱之時。此時陽藏於陰中，支配著、統禦著陰的活動。而當陽由隱變為顯時，便衝破陰的包圍，明顯地與陰處於相對待之中。此時陽以陰為它的補充者而宰馭之、包籠之，猶天貫地中而同時包圍著地。所以，陽始終處於主導的、統領的地位，故時時重陽。這是宇宙的法則。方以智說：