貞觀三年，房玄齡任尚書左仆射，也就是人們俗稱的宰相。唐朝官製是三省六部：尚書省、中書省、門下省；吏、禮、刑、兵、工、民六部。其中以尚書省最為重要。尚書省的長官稱為尚書令，因為唐太宗在武德年間曾任過尚書令，所以這個官號不再授予別人，尚書省長官改名為尚書左仆射和尚書右仆射。房玄齡任左仆射，右仆射自然是他的老搭檔杜如晦。房玄齡擔任這一要職後“虔恭夙夜，盡心竭節，不欲一物所失”。如果說前期的房玄齡以“善建嘉謀”而著稱，那麼，貞觀以後的房玄齡就是鞠躬盡瘁，把自己的一切都奉獻給了李唐王朝。20多年的“貞觀之治”，房玄齡自始至終參與著、維護著、奉獻著。他做的事情很多，但大多數依然是“無跡可尋”，以致於唐太宗有時候也忽略了他在治國方麵的成績。不過，房玄齡是個忠誠而謙虛的人，不求名利，隻是默默地奉獻著自己的智慧與努力。
房玄齡和杜如晦上任一個月後，唐太宗對他們倆說：“公為仆射，當廣求賢人，隨才授任，此宰相之職也。比聞聽受辭訟，日不暇給，安能助朕求賢乎？尚書細務屬左右丞，唯大事應奏者，乃關仆射。”唐太宗讓他們從日常瑣碎的事務中解脫出來，把最重要的選才求賢的工作交給他們。房玄齡也確實盡心盡力，不負所望。他“不以備取人，不以己長格物，隨能收敘，無隔卑賤”，“聞人有善，若己有之”。這種氣度與胸襟實不多見，稱得上是“宰相肚裏能撐船”。
房玄齡掌內外官考很公平，論者稱為良相，唐太宗也十分信任。貞觀三年，有人告房玄齡和王官考不平，唐太宗不予理睬；房玄齡等人製定的官考辦法也得到好評，並在貞觀之治中發揮了重要作用。
貞觀十一年，房玄齡受詔定律令。中國封建社會的律令中，以秦律最為苛刻，漢沿秦律，南北朝時一脈相承，到了隋朝，隋文帝兩次令人修改律令，廢除了梟首、車裂等慘刑，對其他刑罰也有刪減，條目簡要，意在寬平。唐太宗即位後，曾令長孫無忌等人議定法令，對唐高祖的《武德律》進行完善，將絞刑改為流刑。房玄齡再定律令，在隋律的基礎上“削煩去蠹，變重為輕，”製定了《貞觀律》也就是《唐律》。這部律令十分嚴謹，涉及政治、經濟生活的各個方麵，從國家製度到百姓的婚喪戶籍，都有嚴密具體的規範，對官員的清廉和職守要求十分嚴格。這是中國古代最嚴密、最廣泛的封建立法，後來各朝代的法律基本上是沿襲唐律。唐律內容之完備，影響之深遠是前所未有的。
房玄齡所做的另外一項重要工作就是監修國史。唐太宗李世民是中國封建社會最重視吸取曆史經驗教訓的帝王，他有一句名言：“以古為鏡，可以知興替，”他喜歡讀史書，也喜歡和群臣討論曆史事件和曆代帝王統治的得失，從中借鑒經驗，吸取教訓。史載他“終及日昃，命才學之士，賜以清閑，高談典籍，雜以文詠，間以玄言，乙夜忘疲，中宵不寐”。“聽朝之隙，引見群官，降以溫顏，訪以今古。”唐太宗讀史成癖，或君臣觀經史，或披覽忘倦，對曆史經驗的重視無以複加，對修編史書也十分熱心，詔令房玄齡、魏徵、姚思廉、李百藥、孔穎達、令孤德、岑文本、許敬宗等修編梁、陳、北齊、北周和隋朝五個朝代的史書，由房玄齡監修，魏徵總知其務。貞觀十年修成，由房玄齡、魏徵進呈禦前。唐太宗十分高興，嘉獎道：“公輩於數年之間，勒成五代之史，深副朕懷，極可嘉尚。”並再次申明了他的史鑒觀：“朕睹前代史書，彰善癉惡，足為將來之戒。秦始皇奢淫無度，誌存隱惡，焚書坑儒，用緘談之口。隋煬帝雖好文儒，尤疾學者，前世史籍，竟無所成，數代之事，殆將泯絕。朕意則不然，將欲覽前王之得失，為在身之龜鏡。”唐太宗對修史有功的人員進行了獎勵和賞賜，後來，唐太宗深感五朝史隻有紀傳而沒有誌是個缺陷，又讓於誌寧、李淳風等人續修，至高宗顯慶元年才完成。
由於唐太宗重視史鑒，貞觀年間史籍編修成績斐然，煌煌二十四史中，有八部史書是貞觀年間修成的，它們是：《晉書》、《梁書》、《陳書》、《北齊書》、《北周書》、《南史》、《北史》。其中前六部史書為官修，後兩部是李延壽父子私家編修，但獲得了官方的批準而成為正史。唐代以前的史書多是私家著作，貞觀年間官修史書，為後代所沿習，每一王朝重視編寫前代曆史，這對史學的發展有十分重大而深遠的意義。
唐太宗除了重視對前代曆史的總結整理之外，對當代史的編撰也十分重視。當時的當代史主要有國史、實錄、起居注等三種形式，國史也是由房玄齡監修。房玄齡為人正直，史官鄧世隆、李延壽等人又十分優秀，所以當時的國史多是直筆。後來由許敬宗監修，許敬宗心術不正，記事曲阿，破壞了貞觀朝的直筆史風。
唐太宗李世民是個很要麵子的人，他自負自己的文治武功，因而很關心自己的身後名是什麼樣子，再三要求破例親自觀史，因此，貞觀朝當代史編修所遇到的問題就比較複雜。一方麵唐太宗要求史官秉筆直書，另一方麵，要求親自觀史卻讓史官們顧慮重重。貞觀十六年，唐太宗問負責起居注的褚遂良說：“卿猶知起居注，所書可得觀乎？”褚遂良的回答是：“史官書人君舉動，備記善惡，庶幾人君不敢為非，未聞自取而觀之也！”唐太宗又問：“朕有不善，卿亦記之耶？”回答是：“臣職當載筆，不敢不記。”正直敢諫的大臣劉洎又補了一句：“借使遂良不記，天下亦皆記之。”唐太宗隻好點頭稱是。但最後他還是找個借口，說是觀起居注可以“知前日之惡，為後來之鑒，”堅持要看。大臣勸諫不住，房玄齡便和許敬宗把武德和貞觀兩代的起居注刪編為“實錄”，呈獻給唐太宗。
房玄齡這樁事做得糟糕，喪失原則，一味順從，表現出他最大的弱點。房玄齡的長處在於善建嘉謀，忠誠勤勉，但他過於明哲保身，不敢犯顏直諫。在唐太宗麵前，他隻有順從，沒有觸犯，因而起不到匡正過失的作用。房玄齡對唐太宗的敬畏和順從甚至到了可笑的程度。他在相位20多年，隻要一見唐太宗譴責別人，就嚇得六神無主，手腳不知所措；自己有點什麼小事沒做好，就一整天趴在金殿上磕頭謝罪；幾乎成了機械反應，隻要唐太宗不滿意，他就叩頭謝罪，也不管該不該認罪，有沒有道理。
貞觀八年，房玄齡和高士廉在路上碰到負責建築事務的竇德素，順便問了一下北門近來正在建造什麼。竇德素報告了唐太宗，太宗不高興了，對房玄齡說：“君但知南衙政事，我北門少有營造，何預君事？”房玄齡嚇得趕快趴下，磕頭認罪。高士廉也膽小，也跟著趴下了。魏徵卻大聲說：“臣不解陛下責，亦不解玄齡、士廉拜謝。玄齡既任大臣，即陛下肱股耳目，有所營造，何容不知？責其訪問官司，臣所不解。且所為有利害，役工有多少，陛下所為善，當助陛下成之，所為不是，雖營造，當奏陛下罷之。此乃君使臣、臣事君之道。玄齡等問既無罪，而陛下責之，臣所不解；玄齡等不識所守，但知拜謝，臣亦不解。”
魏徵的一席話說得唐太宗和房玄齡等人都不好意思。但對房玄齡來說，讓魏徵批評一下算不了什麼，但讓皇上生氣了那就危險了，所以下一次遇到類似的情況，還是不管三七二十一，先趴下再認罪，沒說的，態度好。貞觀十年，有人給太宗進讒言，說三品以上的官都看不起得寵的魏王李泰。唐太宗在朝廷上變了臉，怒斥群臣：“隋文帝時，一品以下皆為諸子所頓躓，彼豈非天子兒耶！朕但不聽諸子縱橫耳，聞三品以上皆輕之，我若縱之，豈不能折辱公輩乎！”房玄齡等人十分恐惶，冷汗淋漓，不停地磕頭認罪。隻有魏徵鄭重地說：“臣竊計當今群臣，心無敢輕魏王者。在禮，臣子一也。《春秋》王人雖微，序於諸侯之上。三品以上皆公卿，陛下所尊禮，若紀綱大壞，固所不論；聖明在上，魏王必無頓辱群臣之理。隋文帝驕其諸子，使多行無禮，卒皆夷滅，又足法乎！”唐太宗聽著魏徵的話，臉色由陰轉晴，最後愉快地接受了批評，並由衷地說：“理到之語，不得不服。”同時又批評了房玄齡等人。
和魏徵比較起來，房玄齡的患得患失顯得過於多慮，毫無必要。犯諫直諫，也不至於腦袋搬家，一味順從，也沒有真的一路順風。貞觀十年他也曾被譴回家。丟官的原因，史書上沒說，估計不會是什麼大事，房玄齡那麼膽小謹慎的人是犯不了大錯誤的。最後是長孫皇後的遺言救了他。長孫皇後病危時對唐太宗說：“玄齡事陛下久，小心慎密，奇謀秘計，未嚐宣泄，苟無大故，願勿棄之。”長孫皇後病逝後，唐太宗“乃召玄齡，使複其位。”