在中國典籍中，對方以智影響最大的是《周易》和《莊子》。理學宗主朱熹的思辨傾向和實證精神二者的結合，宋易中象數學宗主邵雍的太極演化為萬有、萬有既有象的表現又有數的規定的思想，對方以智也有一定影響。在佛家典籍中，天台宗的一心三觀、三諦圓融，華嚴宗的一多相融最後歸於一心諸說，對方以智也有相當大的影響。方以智不喜性理之學，《論語》、《孟子》這些對理學家影響極大的書，在方以智這裏不占特別重要的位置。當然他的行為規範和道德準則不可能不受當時籠罩一切的理學道德信條的影響，但就構成他思想的主要因素說，易學、莊子、佛教最為重要。代表他晚年思想歸趣和思辨水平的最重要的著作《東西均》，其思想架構的廣大渾全，其行文的恢詭譎怪及隨說隨掃不執一法，都顯示出所受莊子和佛學的影響。他一生都在實踐著他早年就確定了的“坐集千古之智而折衷於其間”，將各種知識烹炮於一爐的誌願。
二質測與通幾
方以智對博物之學和哲學都有濃厚的興趣。他不同於當時的理學家。理學家雖不排斥對具體事物的研習，但理學家研習具體事物是為了知體現在物理上的天理。知物理與知天理是手段和目的、媒介和歸宿的關係，這種關係服從於理學家修身的需要。而方以智則要在具體物理上概括出哲學根本道理，這個道理不單單是對於宇宙法則的一種倫理體認，而是直認宇宙法則本身。方以智一開始就對雜多的具體事物之理、社會政治方麵的治教之理和事物中體現的一般哲學道理作了區分，他說：
考測天地之家，象數、律曆、聲音、醫藥之說，皆質之通者也。皆物理也。專言治教，則宰理也。專言通幾，則所以為物之至理也。（《通雅·文章薪火》）
考測天地之家，即從事具體事物研究的學者，他們所從事的工作是質測。質測的對象是物理。宰理指治教之理，即治理國家的原理、法則。通幾即掌握“所以為物之至理”，即通曉物中的哲學道理。“質測”之質即事物的形質，是物理的承擔者、歸著者。測即考察、測量等用數量關係把握事物之理的活動。質測是一種實證的知識活動，他說：
物有其故，實考究之。大而元會，小而草木螽蠕，類其性情，征其好惡，推其常變，是曰質測。（《物理小識·自序》）
物之故，即物之理。對於物理的考索，大而至於宇宙的演變，小而至於草木昆蟲的生活，總而言之，天地間的一切物都要考究它們的性質、活動方式、常規表現和偶然變化。方以智早年喜博物之學，他這裏所列的象數、律曆、聲音、醫藥等，皆嚐研習。方以智曾談到自己的治學道路：“丱角鼓篋，即好曠覽而湛思之。長，博學，治文辭；已，好考究；已，好物理；已，乃讀《易》。”（《易餘·三子記》）對具體物理的喜好，使他廣泛涉足多種領域，在象數、律曆、音韻、醫藥方麵他都有著作，旁及經書釋詁、器物款識、養生、地理等。這種對實證知識的喜好一直延續到晚年。可以說，他對質測之學是終身以之的。他同時也好詩文歌賦，他曾自悔作詩文歌賦占去了他考釋訓詁經書的時間。但貴公子詩酒自娛的風習使他難以割愛於詩文歌賦的寫作，為此他常常處在矛盾的心境中。肆意酣暢的詩文寫作和冷靜深沉的器物考釋在他身上奇妙地結合起來。這在他的詩文風格上發生了雙向的作用：一方麵，他的博物積古及精通文字音韻使他的詩文中充滿了冷僻的字和典故，反過來，這些冷僻的字和典故又使他的詩文有某種跌宕詭譎之美。質測之學是在他思想中突出地發生著作用的養分。關於通幾，方以智解釋說：
通觀天地，天地一物也。推而至於不可知，轉以可知者攝之。以費知隱，重玄一實，是物物種種之深幾也。寂感之蘊，深究其所自來，是曰通幾。（《物理小識·自序》）
“幾”出自《易傳》，指事物變化的微小征兆；通幾即把握事物的深微的方麵，這裏指把握蘊藏在事物中支配事物的性質和運動方式的所以然。通幾的方法是“以費知隱”，即以事物的可以用感官把握的方麵推究其中不可見的深微的道理。這裏方以智的前提是，事物的理與表現此理的現象是體用關係，由用知體，以可見者推知不可見者。所謂“重玄一實”，是說老子“玄之又玄”的道，就表現在實際存在的、有形質的具體事物中，道是使事物得以成為事物，使事物的運動變化神妙不測的隱微的根據。它本身是寂，但表現它的具體事物是感。考究、把握這個一般道理，就是“通幾”。通幾是從個別推知一般，從可見的物理推知不可見的道的哲學活動。