元豐七年（1084）四月，蘇軾改授汝州（治所在今河南臨汝）團練副使，本州安置，於是告別了黃州。他說：“長腰尚載撐腸米，闊領先裁蓋癭衣。投老江湖終不失，來時莫遣故人非。”（《別黃州》）意思說，黃州的“長腰米”還留在肚中，汝州流行大脖子病，我已預先準備好領子闊大的衣服；我總不會老死江湖不被起用，未來的歲月好自為之，免得老友們非議。在給陳慥的詩中，他更高唱著“願為穿雲鶻，莫作將雛鴨”（《岐亭五首》之五）的抱負。他仍懷有積極入世的勇氣和信心，與《念奴嬌·赤壁懷古》的基調是一致的。
在赴汝州途中，他遊覽了廬山，尋訪了大半的奇勝異跡，留下不少佳作：
橫看成嶺側成峰，遠近高低各不同。
不識廬山真麵目，隻緣身在此山中。
——《題西林壁》
這首哲理詩，似是他遊山觀感的總結。它從廬山景物特點中引出一個認識事物的道理：從不同角度隻能看到山的不同的局部，局中人反而看不清事物的真相和全貌，也就是說，人的認識由於認識條件的限製而具有局限性。
接著他到了湖口（今江西湖口），寫了又一篇有關認識論的作品《石鍾山記》。石鍾山命名的含義引起了他的興趣，他對前人的兩種主要解釋都表示懷疑。一種解釋說，山腳下有深潭，水石相擊，聲如洪鍾，因而得名。蘇軾反駁說：“今以鍾磬置水中，雖大風浪不能鳴也，而況石乎？”另一種解釋說，因為這裏有兩塊石頭，敲擊時發音類似鍾聲之故。蘇軾又反駁說：“石之鏗然有聲者，所在皆是也，而此獨以‘鍾’名，何哉？”而且他親自聽了敲擊這兩塊石頭的聲音，跟一般石頭並無異樣。於是，他親自乘舟夜訪石鍾山。高高的山石好像猛獸奇鬼，在夜間更顯得陰森可怖；棲息在山上的大雕不時發出怪叫聲，令人毛骨悚然。蘇軾正想返回，突然，“大聲發於水上，噌吰如鍾鼓不絶，舟人大恐。徐而察之，則山下皆石穴罅，不知其淺深，微波入焉，涵澹澎湃而為此也”。原來山下的石頭都有洞孔和裂縫，水波衝入，才發出像鍾鼓的聲音。不僅如此，當船行到兩山之間時，“有大石當中流，可坐百人，空中而多竅，與風水相吞吐，有窾坎鏜鞳之聲，與向之噌吰者相應，如樂作焉”。這塊可坐百人的大石頭也因同樣原因而發出鍾鼓一類聲音。兩種聲音互相共鳴，才合成響亮厚重的鍾聲，猶如奏樂一般。蘇軾恍然大悟，這才是石鍾山命名的來由。他得出結論說：“事不目見耳聞而臆斷其有無”，是不可能取得正確認識的。雖然石鍾山命名的含義後人又提出比蘇軾更較合理的解釋，但他的這個結論仍然是頗有啟發性的。
身在山中反而看不清山的全貌，光憑“臆斷”連一座山的命名原由也無法了解，世上的萬事萬物都有一個反複認識的過程，那麼，對新法不也應該如此嗎？蘇軾在長期的地方官任上，逐漸認識到新法的精神實質隻不過是用裁抑少數豪強兼並勢力的某些利益的辦法，來鞏固整個地主階級專政，這本來是他完全可以接受的；同時他又看到新法雖有流弊又有某些可以“便民”的地方。早在被貶黃州時，他曾給變法派章惇寫信：“追思所犯（指反對新法），真無義理，與病狂之人蹈河入海者無異”（《與章子厚書》），表示出他思想認識的變化；後來又寫信給朋友滕元發說：“蓋謂吾儕新法之初，輒守偏見，至有異同之論。雖此心耿耿，歸於憂國，而所言差謬，少有中理者。今聖德日新，眾化大成，回視向之所執，益覺疏矣。”（《與滕達道》）他承認了自己反對新法的“差謬”、“少有中理”。他正是帶著這種認識，加上對王安石“道德文章”的一貫仰慕，會見了罷相八年的王安石。
七月，他抵達金陵（今江蘇南京）。病中的王安石“野服乘驢，謁於舟次”（朱弁《曲洧舊聞》卷五），又在蔣山（今紫金山）住處幾次接待他。蘇軾激勵王安石應出麵阻止呂惠卿的一些不當措施，如對西夏連年用兵，在東南一帶大興刑獄，王安石表示同意；王安石則請他重修《三國誌》，大概是因為蘇軾曾認為《三國誌》的裴鬆之注很有史料價值，應該編入正史，王安石也有同感的緣故。兩人宴飲賞花，留連忘返，友誼取代了舊嫌。（朱弁《曲洧舊聞》卷五）蘇軾在《次荊公韻四絶》之三中說：“騎驢渺渺入荒陂，想見先生未病時。勸我試求三畝宅，從公已覺十年遲。”對王安石結鄰的邀請，蘇軾欣然應命，積極措辦。他在離金陵不久的《上荊公書》中說：