隋煬帝奢侈無度，橫征暴斂，搞得民怨沸騰，又窮兵黷武，發動了三次攻打高麗的戰爭，更是火上澆油。人民群眾被逼得無法生存，紛紛揭竿而起，反隋鬥爭的烈火越燒越旺。
隱居故裏的魏征，雖說也感受到了苛政之苦，然而他畢竟不同於那些被逼得走投無路的農民，此時還沒有被到非鋌而走險不可的地步。後來他投奔起義軍，也是為了“待有王者興”，實現其治國、平天下的政治抱負，而不僅僅是做一條綠林好漢或“山大王”的草頭軍師。因此，他還需要進一步觀察天下風雲，交結四方豪傑，等待“出山”的時機。那麼，出家為道士，正是適合進行這一觀察和等待的一個途徑。
關於魏征出家當道士一事，史傳多有記載。《舊唐書·魏征傳》謂：“不事生業，出家為道士。”《新唐書·魏征傳》謂：“隋亂，詭為道士。”可見，魏征確實曾有過一個時期的道士生涯，這是他從隱居田園到“出山”的重要轉折時期。
在隋代，和尚、道士都是受優待的，不服役，不交租，不納稅。在暴君倒行逆施的年代，得超然無窮無盡苛捐雜稅和沒完役了的兵役勞役之外，這難道不是布衣平民的莫大幸運嗎？道袍在身，四處化緣，道觀投宿，走到哪裏不愁吃住，不必為旅費操心；又便於掩人耳目，無論去什麼地方，也不引人注意乃至懷疑。之所以披道袍偽裝道士而不著袈裟裝扮和尚，是因和尚得剃度，而“身體發膚，受之父母，不敢毀傷，孝之始也”，魏征不願讓先考妣亡靈傷心。再有道士不像和尚把希望寄托在來世，道士追求今生長生不老，羽化登仙，頗受社會上層歡迎，而道家的符籙方術，療疾治病，消災祈福又給社會底層以溫馨慰藉，對苦難中的平民很有吸引力，便於接近民眾。
魏征何時“出家”，據《新唐書》載“隋亂，詭為道士”。這樣看來，當是大業七年（611年）。這一年，魏征剛好30歲。“三十而立”，也是闖天下的年紀了。再說雙親去世，守喪期滿，已無後顧之憂，此時不出，更待何日。
魏征披上道袍，表麵上仙風道骨，超然物外，而他的內心卻極不平靜。現存《魏鄭公文集》中有《道觀內柏樹賦》一文，這是魏征子集中唯一的一篇抒情散文（其餘全為政論和應用文），描述道觀中的一株柏樹：樹齡20多年了，枝葉茂盛，而樹幹不過幾尺，為什麼長不高呢？被籠罩在雜草之中，覆蓋於荊棘之下，滿身傷痕而堅韌剛毅、不畏霜寒的本性不渝。就這樣雖然枝葉繁茂，也無法自己表現出來。隻可惜它不生長在高山上、懸崖邊，有日月的光輝照耀，有雲雨為它裝飾打扮，反而和那些平庸無用之輩混在一起，這難道就是聖哲所說的“方以類聚，物以群分”嗎？因此，它慨歎自己高尚的節操沒有機會得到表現，一片忠誠正直之心無人相識。它盼望春天盡快到來，它將裝點景色讓園林更加美麗。而當前事態嚴峻，如一日已到傍晚，似一年正值隆冬，百草惶惶，像受驚的飛蓬不得安寧，無窮無盡的愁苦猶如天空烏雲連綿迭起。千裏冰封，萬裏雪飄，眾多草木都凋零了，而它將孤獨地亭亭直立，保持敢傲霜雪的本性，將與樹中君子並駕齊驅。這裏，魏征顯然是夫子自道，以樹作喻，既抒發了對現實的不平，也對未來寄予厚望，而最核心的則是他明白無誤地表露不管在怎樣艱難困苦的情況下，不氣餒，不隨波逐流，堅定不移地走自己的人生道路。
在這一時期，魏征以道士身份，雲遊四方，舍藥消災，聯絡鄉民，結納豪傑，有許多佳話流傳於世。“魏老道”在民間留下了高尚而豐滿的形象。
關於魏征出家一事，民間傳說頗多，可與正史記載互補。
河北晉縣東紫城的漢京觀，是縣境內五大廟觀之一。從前觀門上方懸掛著一塊寬大的木匾，上麵刻有“漢京觀”三個剛勁有力的大字。相傳這三個大字是魏征在這觀中當老道的時候書寫的。隋朝末年，魏征聽說漢京觀的道長張清，正在聯結四鄉農民，準備武裝起義，便前來投奔。
漢京觀有著不凡的來曆。東漢末年，黃巾起義軍的首領之一———地公將軍張寶，率領數萬將士與官軍血戰於巨鹿下曲陽，直到糧盡援絕，英勇犧牲，數萬義軍將士，也都戰死在沙場，是為有名的下曲陽大戰。後來，附近的村民埋葬了死難將士的遺體，又修造了這座漢京觀，這觀中的張清道長，正是張寶的八世孫兒。他收留魏征為徒弟，在漢京觀聯絡鄉民，結納英傑，暗中集結反隋武裝力量。
魏征知識淵博，是生活中的強者，又極聰明幹練，如今當了道士，便很快熟悉了道教經典規誡及一應齋蘸祭禱儀式，靜坐修煉、雲遊布道、除病消災，樣樣在行，很快成了一個德行高尚的全真道人。