除靈師在最早的時候一般被稱為術士，他們主要的工作就是替人消除災厄。秦始皇一統天下之後，焚書坑儒，大批的方術竹簡就此消失。而除靈師也大都避世隱居或者被當成邪巫被殺害。除靈的方術也開始失傳。
直至漢朝末期，曹操為充軍餉，組織官軍盜墓。民間隨之效仿，以至“白骨露於野，千裏無雞鳴”。
當時有丁氏者，在盜墓時獲得了一卷《參離訣》，裏麵記載了許多奇術。丁氏深知昔年張角得《太平清道領》上的方術，便大肆招搖，招兵買馬，甚至欲推翻朝廷而稱王，以致為朝廷視為死敵，不惜一切代價遣兵滅殺。丁氏低調從之，他也沒有要憑這種奇術來獲取天下的野望，以免遭黃巾軍覆滅之厄。
丁氏晚年亦隻收了兩名弟子，大弟子安尚道，二弟子寧清淵。兩人所習不同，安尚道為人忠厚，天性敦實，丁氏傳之與乾蒼之術，以消除災厄，抵擋邪氣。寧清淵則習坤凝之術。
安尚道一直謹遵丁氏的教誨，以玄門自居，不收太多門人，亦不炫耀方術。而寧清淵一族從此默默無聞，甚至方術士們間有人謠傳寧清淵死於兵災。
至唐時，武則天因殺戮太重，以致為冤魂所苦。狄仁傑向武則天舉薦安氏，當時安氏的當家是安元一，安元一前往長安，在禁宮之內以符咒壓製冤魂，使之不得犯禁宮。又在玄武門超度冤煞之氣，安撫亡靈。大內遂安。武曌將安元一封為天文博士，給予厚祿。命隨效左右。
當時長安繁華無雙，東瀛派遣的遣唐使，西域各國使節均在此。安氏也樂於駐留長安城，以朝廷所命的方術士的身份與東瀛賀茂家的陰陽師、西域的術師們互師所長，交流方術。同時也汲取了陰陽術中的一部份操縱之術。
在醍醐天皇之時，日本的陰陽道分為賀茂家的勘解由小路流和安倍家的土禦門流，成為兩支；土禦門流以安倍晴明為始祖，勘解由小路流的代表就是賀茂保憲。
開元盛世末年，安家的當家安方晴覺察天氣變動，星象變化，遂上疏求告老還鄉。當時天下安定，方術師亦不受重視。安氏離開長安之事，就像一粒小石子投入河裏，悄無聲息。