隋煬帝大業年間曾作為一個小官的候補官員，但不久也就辭官回鄉了。李世民平定京城時，發現了他的才華，引為秦王府兵曹參軍。但唐建國之後李建成看到秦王李世民府中聚集了太多優秀的人才，怕日後其中有人會對他自己不利，就假借各種原因，將秦王手下的許多人才調離秦府，而杜如晦也是其中之一。就在這時房玄齡對李世民講：“府僚去者雖多，不足惜也。杜如晦聰明識達，王佐之才。大王您如果想經營天下，非此人不可！”房玄齡雖未明確要李世民將杜如晦留下，但向李世民講出了杜如晦的重要。李世民這才意識到問題的嚴重，感激地對房玄齡說：“你不說，我幾乎失去了這個人才”，於是忙把已經調離的杜如晦追回，召回之後李世民立即開始重用杜如晦，將其作為自己的心腹謀臣。而杜如晦也的確不負眾望，在日後輔佐李世民的過程中，屢建奇功。
包括：在平定薛仁果、劉武周、王世充、竇建德的戰爭過程中，杜如晦作為李世民高參，對軍旅戎事剖斷如流，深為時人敬服。在“玄武門”之變中杜如晦雖然被外調，但悄悄潛回秦府幫助秦王出謀劃策與房玄齡功德相當。
在隨同秦王李世民掃平割據的過程中，房玄齡一路上還注意收集隋朝留下來的書籍和典章，為日後治國時作參考。《舊唐書·太宗紀》曰：李世民攻下王世充、段達等盤踞的洛陽，房玄齡當即想到要把隋王朝留下的圖籍保存起來，以備將來治國之用。
隨著李淵稱帝，李世民被封為秦王，房玄齡升任為秦王府記室，被封為臨淄侯。這樣一來房玄齡的工作就越來越繁重了，而且由於他謹慎的工作作風，加之他對秦府事務最為了解，所以事無巨細，他都要管，尤其是軍事和政治文書，最後都要他圈定。但房玄齡依然將政務處理得有條不紊，其中更有不少出色之處。如：一些軍事文書和上奏給唐高祖的重要文件，房玄齡都是即興完成的，但文章一點也不粗糙，相反文采優美，條理清楚，堪稱佳作。史稱他“在秦府十餘年，掌典管記，每軍書表奏，駐馬立成，文約理瞻，初無稿草”。這樣的能力就是房玄齡在隨秦王南征北戰中練就的。
唐王朝建立以後，由於次子李世民在與隋軍的戰爭中，表現出色，李淵給予了李世民很多特殊的權力，包括：
加號為“天策上將”，李世民的“天策府”可以自署官吏。
這些權利使“天策府”實際上獨立形成了一個“王國”。
這樣一來被冊封為太子但一直嫉妒弟弟戰功和地位的李建成和皇弟李元吉（李淵四子）對李世民的勢力產生了很大的疑慮，再加上李淵的後宮嬪妃因索要金銀珠寶不遂而對李世民產生了憤恨，李世民在李淵那裏的信任程度也開始下降。同時李世民也不斷在朝廷內擴大自己的勢力，籠絡人心，這就更加劇了最高統治集團之間出現了爭權奪利的鬥爭，主要表現李世民與李建成的皇位之爭。而一次李世民應太子之邀去其住處飲酒，飲酒完畢李世民回到“天策府”忽然感到心中一陣暴痛，然後就吐血數升。這一事件猶如驚雷，使整個秦府頓時感到了恐慌，同時大家感到直接衝突是不可避免的了。這也最終使皇位之爭的事情發展到劍拔弩張的地步。李世民恢複之後就開始積極召集謀士們準備對策。
在這場皇室鬥爭中，作為秦王的心腹，房玄齡起到了關鍵的謀劃作用。但實際上房玄齡在跟隨秦王李世民征戰多年中，早就發現李世民是一個寬厚仁愛，重視人才，任人唯賢的皇子，認為他有足夠的能力一統天下，發展唐朝，為百姓謀福。隻做一個親王實在是太可惜了！
而且在高祖武德四年，他曾和秦王一起拜訪過一位叫王遠知的道士，道士就對李世民說：“方作太平天子，願自惜也。”更加深了房玄齡幫助李世民取得天下的決心。
現在太子李建成和李世民之間終於爆發了衝突，這正是一個助主稱帝的好時機。