其次是葛洪家族一直與羅浮山有緣。據有關記載，葛洪從祖葛玄曾率領眾道士到羅浮山活動。“精思念道，常服餌術，能絕穀，連年不饑。……恒周旋括蒼、南嶽、羅浮。……弟子有五百餘人。”北宋霍暉《衝虛觀記》認為葛洪晚年求為勾漏令而停滯於羅浮山，“蓋自從祖仙翁孝先吳時在（羅浮山）飛雲頂修丹以來，風流相承，豈特鹹和而避地遠行而然也”。
葛洪隱居羅浮山，不僅在闡發道教理論上有卓越貢獻，而且實現了事業、愛情雙豐收。
葛洪在初進羅浮山時，絕意仕進，潛心研修道學，深得當時南海太守鮑靚的賞識，鮑靚將道書《三皇文》傳授給他。永嘉六年（312），鮑靚將女兒鮑姑嫁給葛洪為妻。《晉書·葛洪傳》有記載：“葛洪）後師事南海太守上黨鮑玄，玄亦內學，逆占將來，見洪深重之，以女妻洪，洪傳玄業。”葛洪此時已經潛心修道，服食養性，並繼續《抱樸子》的寫作。因此，葛洪在羅浮山留有眾多的遺跡也就是理所當然的了，其中最為出名的是“遺履軒”，相傳是葛洪與其師鮑靚常常徹夜談經的地方。關於此軒還有一個頗具神話色彩的傳說：
一天，師徒兩人談興正濃，一直到拂曉時分仍無睡意，忽然，隻見一對玄燕朝他們飛來，可是，當他們將這雙燕子網住後，卻發現哪是燕子？分明是一雙靴子！當然這也不是普通人穿的靴子，所以，便留下了神仙遺履於此地的傳說。此軒得名即起於這個傳說。在這個遺履軒上，還有一塊青石板，長約五尺，高一尺，闊半尺，背倚巨石，恰似臥榻。然而這樣窄的臥榻，也隻有仙人才可以享用，所以也就留下了另一個傳說，說的是古代曾有一位仙人在此靜臥，因此古青石板又稱仙人臥榻。
《羅浮誌》卷二更指出遺履的地方：“遺履軒，在蓬萊閣後，鮑仙、葛仙夜談之所。”（陳梿郾羅浮誌·卷二，軒轅集）意為：遺履軒在羅浮山蓬萊閣後麵，是鮑靚和葛洪晚上交談論道的地方。
離遺履軒不遠處就是蝴蝶洞，聽名字應該與蝴蝶有關，或是能看見大群的蝴蝶。鑽進去看，洞內寬約兩米，高也有兩米左右，曲曲折折，燈光雖暗，卻增加了幾分神秘感。有人到處找蝴蝶不得，很困惑。何謂蝴蝶洞？傳說葛洪煉丹服後仙逝，羅浮百姓前來送行，隻見葛洪遺留下的道袍頓時化為碎片，變幻成數不清的彩蝶盤旋起舞，後聚於此雲峰山岩，成為“蝴蝶洞天”。後來此洞便常常飛出五彩大蝴蝶，於是人們叫它“蝴蝶洞”。雖是傳說，倒也有趣。
道法自然，羅浮道觀氣勢恢宏
隋唐時期，羅浮山已成為南方重要的道教名山。這裏不僅道觀林立，而且高道雲集。不少著名道士隱居羅浮山，許多有名的高道都將羅浮山作為自己修行的地方。最為出名的是蘇元朗、軒轅集等先後隱居在羅浮山修行。
蘇元朗。據《羅浮山誌》記載，他曾經隱居在句曲山（今江蘇茅山）學道，得司命（三茅真君）真秘，修道成仙。開皇（581—604）年間，修道於羅浮山青霞穀，自號青霞子。為發明太易丹道，作《太清石壁記》及《茅君歌》，後發明太易丹道，作《寶藏論》。從遊的弟子聞朱真人服靈芝得仙，競相談論靈芝春青夏赤秋白冬黑，隻有黃芝產於嵩高，遠不可得。元朗笑著說：“靈芝在汝八景中，蓋向黃房求諸？”諺雲：天地之先，無根靈草，一意製度，產成之寶，此之謂也。“於是撰著《旨道篇》闡明內丹修煉之法。自此，道教才知道有內丹。又鑒於《古文龍虎經》、《周易參同契》、《金碧潛通訣》三書”文繁義隱“於是纂寫為《龍虎金液還丹通元論》，”歸神丹於心煉“用外丹名詞解說內丹，提倡性命雙修”，以此為內丹修煉的核心。
軒轅集。唐代惠州道士，號稱羅浮先生，武宗會昌三年（843），居京師。宣宗即位，誅趙歸真，流集於嶺南，遂居羅浮山白雲洞修道。人傳其數百歲，麵容不見衰老。更為奇特的是，他居暗室之中，卻可以看到數丈遠。據說他每次去深山中采集藥材，毒蛇猛獸不僅不傷害他，而且還來保護他。他治病時，隻要用布巾一揮，病人立時痊愈。《東觀奏記》中有一則故事印證了人們的傳說：唐宣宗晚年酷好仙道，廣州監軍使吳德勵在離開京師赴任時，腳已得病三年，行走時蹣跚不便，可是三年後，他從廣州返回京城時，腳病卻完全好了。宣宗感到十分奇怪，問吳德勵原因。吳德勵說是羅浮山人軒轅集治愈的。宣宗一聽，迅速派人召見軒轅集赴京師。這個故事在《舊唐書·宣宗本紀》中有詳細的記載：大中十二年（858）正月春，羅浮山人軒轅集抵達京師，唐宣宗召見他詢問長生的秘訣，他的回答是：絕聲色，薄滋味，哀樂一致，德施無偏，自然與天地合德，日月齊明，雖堯舜禹湯之道可之，況長生久視乎？……南海奏先生已歸羅浮矣。[陳梿。羅浮誌·卷四，軒轅集]唐皮日休《題羅浮軒轅先生居》雲：
亂峰四百三十二，欲問徵君何處尋。
紅翠數聲瑤室響，直檀一炷石樓深。
山都遣負沽來酒，樵客容看化後金。
從此謁師知不遠，求官先有葛洪心。
在唐代的許多政治事件中，我們常常會看到羅浮山道士的影子。例如，在著名的會昌滅佛中扮演主角的唐武宗，即位後十分寵信道士趙歸真，對趙歸真的話是言聽計從。趙歸真利用武宗對他的寵信，舉薦了號稱有長生之術的羅浮山道士鄧元起。鄧元起被迎入禁宮中後，與衡山道士劉玄靖一起和趙歸真結成幫派，共同詆毀佛教，攻擊釋氏，最終導致了會昌滅佛事件的發生。
隋唐時期，羅浮山的道事之所以蓬勃發展，是因為羅浮山的道觀建設如日中天，唐代由於皇室大力扶持道教，道士之居所進而被建築為“如王者之居”，稱為宮、觀。從此，宮、觀作為道士祭神和居所之名被確定下來，不再使用治、靖、廬等名稱。此後，規模較小，或未被皇帝敕封者，仍有精舍、道院等稱謂，但宮、觀始終是它們的代表名稱。為了區分和確指的需要，眾多宮、觀又各有具體名稱。其命名之根據，或據經書，或據其他神祇名，或據道士名號，或據地名，或據曆史傳說故事，由於羅浮山具備道事活動得天獨厚的環境，加上皇朝的大力支持，至隋唐時期，羅浮山道教宮觀建設已經邁進了“中國道教殿堂化”的行列。
宋·霍日韋《衝虛觀記》曰：今衝虛觀，乃（葛洪）都虛（庵）之遺址，（晉）義熙（405—418）初，始置祠以祀之。逮唐天寶（742—755）中，令守者十家，已而為觀。……視羅浮二山諸觀為甲。九天觀，在衝虛觀東，五代南漢時建。宋改名明福觀，蘇東坡書額。長壽觀，原葛洪西庵基，五代南漢時建，名天華宮，俗呼南天華，宋改長壽觀。酥醪觀，葛洪北庵基，建觀年不詳。宋蘇軾有《懷酥醪觀安期生詩》，或許唐時已建。會仙觀，在增城縣南鳳凰台，傳為何仙姑舊居，唐大曆（766—779）間改建為觀，於觀左立仙姑祠。隋唐時期，羅浮山已成為南方重要的道教名山，建起一批宮觀。其最早者，當推衝虛觀。
《羅浮山誌彙編》卷三引宋代郭之美《羅浮山記》曰：“晉鹹和（326—334）中，葛洪至此以煉丹，從觀者眾，乃於此置四庵，山南曰都虛，又曰玄虛，又改名衝虛。”可見，羅浮四庵，就是葛洪第一次隱居羅浮山時建的四庵，著名衝虛觀前身為都虛觀。葛洪“羽化升天”後，晉安帝義熙初於此置“葛洪祠”。時至唐玄宗天寶年間（742—755），逐步將其擴建為“葛仙祠”，並置守祠十家。後至宋元祐二年，宋哲宗趙煦稱帝時，賜“衝虛古觀”匾額始名，該名沿用至今。當然，這段曆史，也是借鑒一些史書整理出來的。然而，衝虛古觀，依然“道貌”凝重，道味濃烈。有文字介紹，衝虛古觀，曆代均有修葺，衝虛觀幾經修建，現觀是1985年香港圓玄學院等道教團體捐修的，經一番修葺，基本恢複了昔日金碧輝煌的原貌。衝虛觀因為是葛洪所創建的道教聖地，所以現已成為嶺南所有道觀的祖庭。