躲回到老北京的胡同。“老輩人裏有很多人，都是世事上不得意，回家一待就半輩子，能待住，說明能自得其樂。”他說。
他看書，看很多很多書。然後是散步。有時候他也出門。坐兩個小時的公共汽車，去見一個老人。老人80多歲，叫胡海牙，是中國道教協會的理事。徐皓峰一直對道家感興趣。1998年，他利用一個拍片機會，走訪當時各宗教領袖，認識了胡海牙。一見便覺得熟悉，和他二姥爺李仲軒在相貌氣質上差不多。他說：“在胡老麵前，我自卑，他對我有震懾力。”胡老愛吃糖，有時說得高興了，就拿出塊糖給他。胡老給了他曆史觀。每次從胡老家出來，因為學了新東西，他能步行兩三公裏，再坐車。
徐皓峰也心慌，來自於一個社會人的心慌——覺得精神上沒著落。“總覺得，有些事情你不知道，就白活了。”他說，“那時，我的興趣都在知識上，是對另外一個世界的探究。”那個世界，除了胡海牙的道教，還有二姥爺李仲軒口中的武林。
2000年12月，徐皓峰在《武魂》雜誌上發表了第一篇文章，通過二姥爺李仲軒之口，講尚式形意拳。尚雲祥的名氣很大，但武行中人並不知李仲軒是誰。次年4月，他又寫了第二篇。讀者來信很快堆到了編輯部。雜誌的副主編常學剛看出一絲端倪來。他也不知徐皓峰是誰，但這文章和武林主流界明顯不同。他寫信給徐皓峰，約定持續供稿，隨後一寫就是好幾年，寫了20多篇。有一天下午，常學剛接到一個電話，對方自稱徐皓峰母親，說：“不要再勾著我兒子寫這些東西了，我們對他期望挺大的。”
那是父母唯一一次對徐皓峰的幹涉。他聽了，停了一段時間，然後繼續寫。至於“期望”——他說，在自己智慧不高的情況下，就別設計未來了。先修身，再說其他。但他也保留了誌向，以後總歸還是要拍電影的，時候未到。
2004年3月，李仲軒出門散步，安靜地辭世於一把椅子上。
徐皓峰預感到這種生活就要結束了，一個純知識時代的結束。然後，新生活就自己來了。
半生不熟
多年來，在北京電影學院，有一種傳統的師生關係。學生畢業後，老師們都追看他們的動向。有幾位老師看到了徐皓峰發表的《臥虎藏龍》影評，合計了一下，覺得他能寫，也可以教書。徐皓峰沒再推辭，當了老師。
回到電影學院，徐皓峰是個特例。他那一屆的導演班，也是個特例。他回憶，他那屆老師考試選材時，挑的基本都是學者型的導演。而以前都找梟雄型的。他說：“學者型的人想成功，憑的是漫長的功夫積累，而不是扭轉乾坤的霹靂手段。”
徐皓峰重拾小說。他開始寫《道士下山》，主角名叫何安下。小說開篇便寫道士下山，是因為“山中巨大的寂寞令他神經衰弱”。這小說虛實夾雜，似乎到處都能看到他自己的影子。他說：“作者寫小說，其實是個感受置換，小說人物都是作者的化身。”
《道士下山》出版於2007年。那時，由《武魂》雜誌係列文章集結成書的《逝去的武林》已脫銷斷貨。隨後幾年，他一年一本，迅速寫完了5本書。有個製片人看上了他的《國術館》，想買版權。徐皓峰建議他投拍《倭寇的蹤跡》。那人居然拍了，後來告訴他，小說並不是徐皓峰專業，但他能寫到專業水平，因此對他做導演，也很好奇。
2011年，電影一出，徐皓峰就打破了人們對武打片的既有觀念。它簡約、樸拙，充滿荒誕感的黑色幽默。這時代，沒見過這樣的武打片。票房自然是不好的。
在《道士下山》一書序言中，徐皓峰寫了他見過的三種人：隱世者，早逝者，混世者。胡海牙和李仲軒當屬第一種。他小說裏的許多人物是第三種，街頭裝瞎賣藝的、提籠架鳥晨練的。徐皓峰說自己成不了混世者，那種簡單明確，境界很高的。第二種是他一位高中時代的朋友，早慧卻不早熟，不耐煩人情事故，活著活著便活傷了自己，他在結婚第三天逝世，給徐皓峰留下一部他寫的武俠小說。
“想不到我們倆在年過三十後，卻都對高中時熱衷的武俠小說產生創作衝動。”他說，“也許因為我倆都是成人世界中半生不熟的人。”