次年，鄭又玄因故被免去官職。寄居在濛陽郡的一個寺廟裏。又玄平日裏喜歡研究黃老道學，這時丟了官職，便想出家修行，以解脫心中的煩惱。當時，有位姓吳的道士，道術高明，在蜀地很有名氣。吳道士住在蜀門山，鄭又玄便趕去求見，並表示願意拜他為師。吳道士見又玄態度懇切，答應收他為徒。同時囑咐道：“你既然一心向道，就應隱居山林，遠離塵世，專心修行，再不可去追逐那功名利祿了。”又玄拜謝道：“先生諄諄教導，弟子終生銘記在心。既入道家之門，一定謹遵道規。先生您是個道行高明之人，我願永遠留在你的身邊修行。”吳道士見又玄既有才學，而且修道意誌堅決，以為是收了個好弟子，因而心中高興，欣然應允將又玄留在自己身邊。開始，又玄果然履行諾言，不僅修道虔誠認真，而且對一些灑掃雜役也總是搶著去幹。因此，吳道士十分滿意。這樣，鄭又玄在蜀門山一住就是十五年。後來，隨著歲月的流逝，又玄學道的意誌慢慢動搖，漸漸地鬆懈下來。吳道士查覺出來，曾幾次好言規勸，但又玄卻不見有悔改之意。一天，吳道士把他叫去，十分嚴肅地說道：“你心中不寧，又思紅塵，辜負了我的一片苦心。既然你不能堅持自己的決心，就算是繼續留在山林，對你也是沒什麼好處了。我也不必再強留，就請你下山去吧！”鄭又玄辭別了師傅，重新回到濛陽郡，再次過上吃喝玩樂，自由自在的日子來。
過了一段日子，又玄又想再謀個官職，便東行到長安去。途中，一天他路過褒城，因為天色不早，便到一家客店中住宿休息。在那裏，他遇見一個小孩，才十多歲，長得十分清秀，非常惹人喜愛。又玄跟這孩子交談，發現小孩不僅言語條理清晰，而且思維敏捷，知識豐富，聰明過人。又玄覺得自己比這小孩差遠了，所以他跟小孩談話時顯得虛心多了，再不像從前那麼氣盛高傲、目中無人。談過一會兒後，那小孩忽然對又玄說道：“我跟你相識已經許多年了，不知你是否還能記得住？”又玄說：“你不過十來歲，我在蜀門山修道就十五年，怎麼可能跟你是老相識呢？”孩子說道：“我前生是在閭丘氏家，住在長安城中，跟你是同學。那時你嫌我貧賤，門第沒有你高貴，說我不配做你的同學，並三番五次地羞辱我。後來，我又做了仇家的兒子，與你在郡中一起共事，還送你不少財物，為的是改變你對我的看法，咱們也好以朋友之禮相待。可想不到，你對我不但不以禮相待，而且還當著那麼多人的麵罵我是市井小民，叫我下不來台。你為什麼狂妄自大到這種地步！真叫人不可理解。”又玄一聽大心中大驚，再三向小孩謝罪道：“你說的確有其事，這實在全是我的罪過。”又玄又問道：“這事也真怪，你是怎麼知道以前這些事情呢？”那小孩說道：“告訴你吧，我本是天上神仙。原來看你有成仙的氣質，我才降臨人間，要和你交朋友，然後再把成仙的秘訣傳授給你。可沒想到你如此驕傲，不堪造就，所以不能得道。這也太可悲了！”說完，那小孩就不見了。又玄猛然醒悟，感到萬分羞愧，不久便憂鬱而死。