房玄齡的個人品德也極為人們所稱讚。他是一位孝子，就是對繼母也是至孝。繼母病了，他請醫抓藥，每當醫生過門，他都哭泣著垂手侍立；繼母死了，他居然因傷心而不能進食，以至骨瘦如柴。對父親就更不用說了，他的父親臥病一百多天，俗語說，“久病床前無孝子”，房玄齡卻始終如一服侍父親，從來都是和衣而臥，其盡心盡意，是可以想見的。房玄齡的這種個人品德，對他日後能有大的成就起到了重要的作用。
當時，隋朝的吏部侍郎（專管選拔調整官吏的人事工作）高孝基就評論說：“我見過的年輕人多了，從未見過像他這樣的，房玄齡將來一定會成為了不起的人。”
李淵在太原起兵反隋時，房玄齡正任隋朝的隰城（在今山西汾陽）尉。李淵派其子李世民（後來的唐太宗）帶兵去平定渭水以北地區，房玄齡經過分析比較，認為隋朝滅亡隻是遲早的事，而在諸支起義軍中，唯有李唐政權深明大義，極得民心，又能禮賢下士，將來必定能據有天下，於是，他就毅然拋棄了隋朝的官位，投奔了李世民。當時，李世民距他有八百裏之遙，他“杖策謁於軍門”，拜見了李世民。一談之下，大為投機，李世民即委他以渭北道行台記室參軍的重要職務，把他當做重要謀士看待。從此，李世民與房玄齡結下了不解之緣，在此後的三十多年中，兩人密切合作，李世民成為一代明君，房玄齡也成為一代名相。
房玄齡跟李世民一起參加了許多次戰鬥，在平定隋朝大將王世充的戰鬥中，房玄齡積極出謀劃策，為取得這場關鍵性戰役的勝利立下了功勳。在戰鬥的間隙，房玄齡陪同李世民去拜見一個叫王遠知的道士，據說此人道行高深，能上知一千年，下知五百年。他們化裝成普通人，“微服”私訪，那王知遠卻一看即知，告訴李世民說：“方作太平天子，願自惜也。”從這以後，房玄齡更加盡心盡力地輔佐李世民，堅定地追隨李世民、輔其為天下英主。
李世民因赫赫戰功而被封為秦王，又官居唐朝特設的“天策上將”，勢力很大。他還極其善於招攬人才，在秦王府中有所謂的“十八學士”，房玄齡、杜如晦多謀善斷，陸德明、孔穎達精通經學，姚思廉擅長文史，虞世南以書法名世，其餘十餘人也是當時的人傑才俊。在這“十八學士”當中，房玄齡居其首。在秦王府的十多年中，為秦王李世民招攬人才，是房玄齡的重要任務之一。
據《舊唐書·杜如晦傳》記載，起初，杜如晦做李世民的兵曹參軍，其職責是幫助訓練士兵，不是一個十分重要的職位。後來，秦王府中的人派往各地的越來越多，杜如晦也要被調到外地去。房玄齡聽說了，趕忙跑去對李世民說：“王府中的英俊才傑被調出的越來越多了，別的人我都不覺得可惜，隻有杜如晦不能調走，他是個其智能識大局、其才可安天下的大才，您如果還想經營四方，取得天下的話，非此人不可。”
李世民聽了以後，十分感激地說：“如果不是您提醒我，我差點兒失去了這個人才。”隨後立即撤銷了調令，重用杜如晦。以後多年的實踐證明，房玄齡的認識是正確的，杜如晦在評斷大事上極有見地，以致有了“房謀杜斷”這一說法。二人密切配合，為唐代的安定和繁榮作出了重要貢獻。
在隨李世民的東征西戰中，房玄齡每到一處，都十分注意搜集當地的民情習俗及前代的文獻資料，為以後製定決策提供了豐富的材料。在平定各地的起義軍以後，房玄齡被李世民封為臨淄侯，升任為秦王府記室，掌管一切軍政文書，有許多文件需要他親自起草，他才思敏捷，文辭優美，氣度恢宏，史書上稱他“在秦府十餘年，常典管記，每軍事表奏，駐馬立成，文約理瞻，初無稿草”。
後來，太子李建成在唐高祖李淵的支持下與齊王李元吉聯合，共同迫害秦王李世民。一次，李建成請李世民赴宴，於酒中置毒，李世民飲後腹中暴痛，被送回家裏，嘔血數升才保住了性命。還有一次，李建成借陪父皇打獵的名義，特意為李世民準備了一匹烈馬，等到李世民騎馬追逐一頭麋鹿時，烈馬狂性發作，把李世民甩出了一丈多遠，差點兒摔死。後來，李建成又與李元吉密謀，準備在替李元吉出征餞行的宴會上殺死李世民。兄弟相殘已到了水火不相容的地步。房玄齡極力主張當斷則斷，先下手除掉李建成和李元吉，在房玄齡等人的極力催促下，李世民在秦王府召開了緊急軍事會議，決定在玄武門埋伏兵馬，趁李建成上朝之機殺死他。
在“玄武門之變”中，李世民殺死了李建成和李元吉，自己當了太子，不久又當了皇帝。
李世民當了皇帝後，曾經論功行賞，史書有一段很有意思的記載，茲摘譯如下：