但他對西人質測、通幾的評論前後有所不同。在早年所作的《通雅》中，他說：“泰西質測頗精，通幾未舉。”（《通雅》卷首）在作於《通雅》之後，完成於中年的《物理小識》中則說：“彼之質測猶未備也。”總的說，他對西方人精於實證知識這一點是肯定的，把西方人的質測之學作為他學習的對象和知識結構的重要方麵是顯然的。方以智自述他的誌願：“因邵蔡為嚆矢，征河洛之通符，借遠西為郯子，申禹周之矩積。”（《物理小識·總論》）意為，繼承邵雍、蔡沉的象數之學，用《河圖》、《洛書》中的一般道理來證實具體物理，以西方人的質測之學為效法對象，對中國古代的自然科學理論加以引申發揮。因為這四句話是在《物理小識》的總論中說的，所以可以把它看做方以智實證科學的方法論綱領。這個綱領說明方以智的思想以象數學為基調，不過象數二字在方以智這裏強調的不是它的圖式的推演、數字的框定，而是象數中實證的、能用數量關係表征的性質，以及理性的而非籠統的、神秘的思想方法。所以當他說“日月星辰，天懸象數如此；官肢經絡，天之表人身也如此”的時候，要表達的是“核實難，逃虛易”的實證精神，反對“洸洋之流，實不能知其故，故吹影鏤空以為恢奇”（《物理小識·象數理氣征幾論》）。他反對離開實證，僅憑機械的圖式推演和數字衍變，以事實強納入虛構的框架的“象數”，他說：“其言象數者，類流小術，支離附會，未核其真，又宜其生厭也。”（《物理小識·象數理氣征幾論》）於此也可以說，繼承明代後期的實學而開清代實證主義思潮者，方以智為第一人。以往多推顧炎武為清學的開山祖師，實際上方以智的功勞也是顯而易見的。如果說顧炎武主要在社會上較為通行的知識、觀念及經書的注釋中貫徹了實證思想，那麼方以智則主要在自然科學的某些概念的說明和解釋中運用了實證方法。而他們對違反實證原則的臆斷玄揣的批評，則是共同的。
方以智據其實證原則，對理學家提出批評，他說：“宋儒唯守宰理，至於考索物理時製，不達其實，半依前人。”（《通雅》卷首）他批評理學家多探討天人性命及社會政治學說，而忽於對具體物理的探求。即有探求，也多為謬說或依傍前人。方以智認為，他的注重實證知識，是繼承了原始儒家本有的傳統，而這些傳統後來的儒家丟棄了，他說：
自黃帝明運氣，唐虞在璣衡，孔子學易以扐閏，衍天地之五，曆數律度是所首重，儒者多半弗問。故秩序變化之原不能灼然，何怪乎舉禮節樂律而弁髦之，舉倫物舊章而放棄之。（《物理小識·象數理氣征幾論》）
他提出，天人性命之說必以具體事物為證，形而上之道和形而下之器是一體兩麵，不能脫離具體的物理而言天人性命，他提出他的治學理想：
聖人通神明，類萬物，藏之於《易》。呼吸圖策，端幾致精，曆律、醫占，皆可引觸，學者幾能研極之乎？（《物理小識·自序》）
所謂通神明，即考究隱微不可見的道理，類萬物即探索具體事物的性質、原理，並把它們與《周易》所講的道理貫通起來，用圖式和數表來演示細微的地方使其精確，一些實證性較強、數字特征明顯的學科尤可類比而觸類旁通。他還引述他父親方孔炤的話說：
潛草曰：言義理，言經濟，言文章，言律曆，言性命，言物理，各各專科。然物理在一切中而易以象數端幾格通之。即性命、生死，鬼神，隻一大物理也。（《物理小識·總論》）
可以看出，方以智繼承了他父親的易學方法，認為萬物皆有其理，而《周易》的象數中包括的數的原理可以概括和刻畫一切物理。方以智把性命、生死、鬼神等玄妙的哲學問題都當作實證的物理問題來研究，在他這裏，天地萬物包括自己的身體，都包含著共同的原理，都可以用象數來刻畫和摹擬，他說：
天示其度，地產其狀，物獻其則，身具其符，心自冥應，但未嚐求其故爾。學者靜正，不合俯仰遠近而互觀之，又何所征哉？（《物理小識·象數理氣征幾論》）
他的著眼點在萬物的節律、相狀、性質和規律，它們既是各個不同的，又有共同點、一般原理，而這些都可以實證地加以考察。學者應該以靜定的心態，對事物的這些方麵加以個別的、會通的、對比的研究。這一方法貫徹於他早期的一切學術活動中，他兒子方中通記述他編著《物理小識》的方法說：“每有所聞，分條別記，如《山海經》，《白澤圖》，張華、李石《博物誌》，葛洪《抱樸子》，《本草》，采摭眾言，或無征，或試之不驗。此貴質測，征其確然者耳。”（《物理小識·編錄緣起》）這是方以智早期學術方法的實錄。
應該說，方以智這些思想方法作為探求實證知識的步驟來說是相當精當的，他以此為綱領對許多具體事物的說明也是正確而深刻的。但他對理學家的批評卻是片麵的，因為理學家對事物的探求方法和目的都與遵循實證路向的哲學家不同。理學不是一種實證的學問，它是人文的、解釋的。它重在境界及識度的高明而不在具體知識的精當與豐富，它的目的在於給人精神上的享受而非實際的知識。具體事物的道理隻是理學家認識天理、提高精神境界的媒介和工具。理學是不同於實證哲學的另一種哲學形態。在實證的哲學家看來，理學家的論證和方法多籠統漫汗之處，膚廓而不著邊際。而在理學家看來，實證哲學家見物不見人，拘拘於實證之理而不能至高明曠達之域。方以智早期實證哲學的傾向很明顯，他繼承家學中的象數學傳統，采擷西學中的自然知識方法論，構成了他思想中實證的一麵。這一麵在他是很強固的，幾乎影響到他的一生。即使晚年他吸收莊子和佛學而成的境界哲學占了主導的方麵，他的實證的這一麵仍有表現。比如，終其一生，他對理學家持批評態度，這一點與顧炎武對理學家的批評有相同的時代內涵。