李淵把政權交給李世民，在沒有離開皇帝寶座之前，還要考慮一下他的思想歸宿問題。盡管李淵基本是以儒學原則來治理國家，但在他所處的時代，不能不受到宗教觀念的巨大影響。尤其是自魏晉南北朝以來，胡族大量內遷，用中國傳統的儒家思想，不可能統一各族各階層人們的認識。這樣一來，胡族較為傾向的佛教和漢族較為傾向的道教就成為社會上普遍重視的兩種信仰了。李淵生在這個時代，他是不可能超越這個曆史階段的。
李淵家族，本出身鮮卑族軍戶，於是與佛教有較多關係。李世民9歲時患重病，李淵時任隋朝的雍州刺史，特別到位於今天陝西戶縣城郊的草堂寺為李世民祈福。草堂寺是後秦姚興執政時請西域高僧鳩哮羅什到長安講經之所，由於鳩摩羅什講經時注意適應聽眾的要求，“口稱秦語，曲從方言”，結果大受歡迎，聽講者太多，以至他講經時當地“十室九空”。他圓寂後舍利留在草堂寺，於是在關中老百姓心目中，草堂寺是有靈驗的佛寺。李淵了解到這些情況，所以才在李世民重病時到草堂寺來祈福消災，並且在大海佛寺“為男敬造石碑像一鋪”，《全唐文》卷3還收有李淵做此事時所寫的《草堂寺為子祁疾疏》。
雖然李淵有拜佛的經曆，但他始終沒有成為皈依佛門的信徒，這與他在太原起兵後受道教徒的包圍有關。就在李淵太原起兵的隋煬帝大業十三年（公元617年），關中道教徒所奉老子入關說經之所一周至終南山樓觀台的道教宗師歧暉就預言“天道將改”，並且，告訴弟子說：“當有老君子孫治世，此後吾教火興。”歧暉的說法自然有弟子去俺播，所以李淵太原起兵向長安進發，兵阻霍邑時，有道上，打扮成白衣老父模樣，來到李淵車門，說：“八月雨止，路出霍邑東南，吾當濟師。”這本來是關鍵，道教徒盼李淵入關中的表現，李淵卻相信自己得到了佛道諸神的支持，為此進軍入關中至華陰時，曾臨佛寺祈福；當他再向前走，就遇到道教徒的歡迎。歧暉不但以樓觀台的資糧供給李淵義軍，還派觀中道士80餘人去蒲津關迎接李淵。為此，李淵在建立唐朝的武德初年發布《禁正月五月九月屠宰詔》中說：“釋典微妙，淨業始於慈悲。道教衝虛，去其殘殺。”然而到了武德三年（公元620年），李世民在河東與劉武周、宋金剛交戰時，遇一晉州道士吉善行，說在羊角山見白衣老父，對他說：“為我語唐天子，吾為老君，吾汝祖也。今年平賊後，子孫享國千年。”李世民把這一奇遇報告李淵，李淵正為自己門第不高而發愁，得了這個撿來的門第，認為可以大作文章，親率文武百官千餘人到樓關台祭祀老子，召見歧暉等高級道士，聲稱：“朕之遠祖親來降此，朕為社稷主，其可無興建乎！”於是令改樓觀台為“宗聖宮”，賜白米二百石，帛一千匹。從此，道教祖師老子成為李淵的遠祖，唐朝皇帝都與道教結下不解之緣。李淵在武德八年將道教列為諸教之首，主要原因就是這建唐時期的這一偶然相遇。
道教通過與李淵拉關係取得了優勢地位，但是教義貧乏，煉丹、修行需要錢財，在傳播力上不如佛教，以至在李淵執政的武德年間，佛教的影響越來越大，佛寺廣占土地，大量勞動力以進入佛寺為名逃避賦役，使唐朝的財政開支遇到困難，這樣就出現傅奕反佛事件。
傅奕原是道士，入朝做官後恢複儒學士人的麵貌，從維護唐朝政權利益出發，在武德七年（公元624年）上疏反佛，如《舊唐書》卷79《傅奕傳》載：
佛在西域，言妖路遠，漢譯胡書，恣其假托。故使不忠不孝，削發而揖君親；遊手遊食，易服以逃租賦。演其妖書，述其邪法，偽起三塗，謬張六道，恐嚇愚夫，詐欺庸品。凡百黎庶，通識者稀，不察根源，信其矯詐。乃追既往之罪，虛規將來之福。布施一錢，希百倍之報；持齋一日，冀百日之糧。遂使愚迷，妄求功德，不憚科禁，輕犯憲章。其有造作惡逆，身墜刑網，方乃獄中禮佛，口頌佛經，晝夜忘疲，規免其罪。且生死壽夭，由於自然；刑德威福，關之人主。乃謂貧富貴賤，功業所招，而愚僧矯詐，皆雲由佛。竊人主之權，擅造化之力，其為害政，良可悲矣！
……況天下僧尼，數盈十萬，翦刻繒彩，裝束泥人，而為厭魅，迷惑萬姓者乎！今之僧尼，請令匹配，即成十萬餘戶，產育男女，十年長養，一紀教訓，自然益國，可以足兵。四海免蠶食之殃，百姓知威福所在，則妖惑之風自革，淳樸之化還興。傅奕的意思是要把僧尼變成生產者，減少國家的負擔，增加收入，這對李淵剛統一天下的情況自然有些好處，所以李淵把傅奕的建議交群臣討論。然而佛教當時在人們心目中的地位是其他思想體係難以替代的，滿朝文武中隻有太仆卿張道源支持傅奕的意見，中書令蕭瑀當即表態說：“佛，聖人也。奕為此議，非聖人者無法，請置嚴刑。”傅奕立刻反駁，他說：“禮本於事親，終於奉上，此則忠孝之理著，臣子之行成。而佛逾城出家，背逃其父，以匹夫而抗天子，以繼禮而背所親。蕭瑀非出於空桑，乃尊無父之教。臣聞非孝者無親，其王禹之謂矣！”由於李淵實際支持傅奕的意見，蕭瑀無奈，隻好合掌說：“地獄所設，正為是人。”
正當李淵想要推行打擊佛教的政策時，李建成送來佛僧法琳寫的《對傅奕佛僧事》一文，這篇文章長達萬言，以嚴密的邏輯，巨大的說服力、浩蕩的氣勢令李淵折服。李淵發現佛教確實是社會各界已經接受的現實，用行政手段一定不能解決問題，於是改禁佛為限佛，這是他在處理政局時具有較大靈活性的一貫作風。李世民執政對佛教基本采取與李淵相似的政策，這說明父子二人在政權移交時有許多共同的思想認識，並不因佛教徒支持了李建成而改變既定方針。