貞觀十三年，加房玄齡官為太子太師。房玄齡再三上表請求解除仆射職務，太宗下詔書回報說：“選用賢能的根本，在於無私；侍奉君上的道義，貴在當仁不讓。列聖所以能弘揚風化，賢臣所以能協力同心。公忠貞莊重、誠信賢明，為我草創霸業，助成帝道。執掌尚書省，使百政通和；輔佐皇太子，實眾望所歸。但是公忘記了那些大事，拘於這點小節，雖然恭敬完成教諭事務、卻要辭去宰相職位，這難道就是所說的輔佐朕共同安定天下嗎？”房玄齡於是帶本官就任太子太師。當時皇太子要行拜師禮，已備好儀仗等待。房玄齡深加謙退，不敢進見，於是回家去了。有見識的人都推崇他的謙讓精神。房玄齡認為自己居宰相位15年，女兒是韓王妃子、兒子房遺愛娶高陽公主，實在是極為顯貴，於是頻繁上表，請求辭去職位。太宗下詔寬慰，但並不批準。十六年，又與高士廉等人一起撰成《文思博要》，賞賜豐厚。拜官司空，仍然總掌朝政，依舊監修國史。玄齡上表辭讓，太宗派遣使節對他說：“過去留侯張良讓位、竇融辭去富貴，都是自己懼怕功名太盛，知道進能夠退，善察時勢、及時止步的，所以前代人加以讚美。公也想追隨往日賢哲，實在應當嘉獎。然而國家任用公已久，一旦突然失去良相，就如同失去雙手一般。公若體力不衰，就不要再辭讓了。”房玄齡於是停止推讓。
貞觀十七年，房玄齡和司徒長孫無忌等人的像被畫在淩煙閣上。讚詞說：“才能兼有辭藻，思慮化入神機。為官勵精守節，奉上盡忠忘身。”高宗在東宮時，加房玄齡太子太傅、仍然知門下省事、監修國史如故。同年，房玄齡因繼母去世、停職修喪禮，太宗特命賜以昭陵葬地。不久，恢複本職。太宗親自出征遼東，命房玄齡在京城留守，手寫詔書說：“公擔當著蕭何那樣的職任，朕就沒有西顧之憂了。”軍事器械、戰士衣糧，都委任房玄齡去處置發送。房玄齡屢次上言說敵人不可輕視、應當特別謹慎。
房玄齡曾因微小過失被罷官回家，黃門侍郎褚遂良上奏說：“君主是‘首腦’，臣下稱‘四肢’。有龍躍就有雲起、不待呼嘯而會集，一旦時機到來，千年不敵一瞬。陛下過去是布衣百姓時，心懷拯救民眾的大誌，手提輕劍、仗義而起。平定諸處寇亂，全靠陛下神功，而文章謀略，頗得輔佐幫助。作為臣下，玄齡出力最勤。往昔呂望扶助周武王、伊尹輔佐成湯，蕭何竭力於關中、王導盡心於江南，玄齡可以與這些人匹敵。況且武德初年出仕作官的人，都是忠誠勤懇、恭敬孝順，眾人同歸陛下。但隱太子與海陵王，憑仗凶亂、求用惑主，使人人不能自安，處境像雞蛋相疊一樣危險、形勢如身被倒掛一樣危急，命在旦夕、身係寸陰，而玄齡之心，始終不變。到武德九年之際，事情緊迫，玄齡雖被貶斥趕走，未能參與謀略，但仍然穿著道士衣服入府，與文德皇後同心相助。他在臣節方麵，確實沒有虧欠。到貞觀初年，萬物更新，玄齡選擇能吏侍奉君主、為輿論所推獎，雖有無上功勳，卻忠心依舊。隻要不是犯有不赦的罪狀、為百官同憤，就不能因一點小錯誤就輕易地舍棄他不用。陛下如果確實憐憫玄齡年邁，或瞧不起他的行為，自可像古時那樣，諭示大臣讓他退休。但這事實行起來要靠後一些，並要遵循往日故事，按退休禮儀去作，就不會使陛下失去好的聲譽。現在玄齡這樣有數十年功勳的舊臣，隻因小事而被貶斥，朝廷外麵議論紛紛，都認為不應該。天子重用大臣則人盡其力，輕易舍棄則人心不安。臣以庸碌人才，愧列陛下左右，鬥膽冒犯天威，略為陳述管見。”
貞觀二十一年（公元647年），太宗前往翠微宮，在那裏授司農卿李緯官為民部尚書。房玄齡當時留守京城。恰好有人從京城來，太宗問他：“玄齡聽說李緯官拜尚書後怎麼樣？”那人回答：“玄齡說李緯胡子好，沒說其他話。”太宗立刻改授李緯為洛州刺史。房玄齡就是這樣，是當時的一種尺度。
貞觀二十二年（公元648年），太宗前往玉華宮。當時房玄齡舊病發作，詔書命令他在京養病並仍然總管留守事務。病重時，太宗讓他來玉華官。房玄齡坐抬轎入殿，一直被抬到太宗座前才下轎。太宗麵對他垂淚，房玄齡也感動哽咽。詔書派遣名醫救治，並命尚食局每日供應宮廷膳食。如果房玄齡稍有好轉，太宗便喜形於色；如果聽說病情加重，臉色便變得悲傷。房玄齡因此對諸子說：“我自從病情危急後，受恩澤反而更深；如果辜負了聖明君主，則死有餘辜。當今天下清明，各件事務都很得當，唯獨東征高麗不止，將為國患。主上含怒下了決心，臣下不敢冒犯聖威。我若知而不言，就會含恨入地。”於是上表勸諫說：
臣聽說兵革最怕不收斂，武功貴在停止幹戈。當今聖明教化，無所不至。上古朱能臣服的地方，陛下都能讓其稱臣；未能製服的地方，陛下都能製服。詳察古今，為中國患害最大的，首推突厥。而陛下卻能運用神機妙策，不下殿堂就使突厥大、小可汗相繼歸降，分掌禁衛軍，執戟行列間。其後薛延陀囂張，旋即被討平滅亡；鐵勒傾慕禮義，請朝廷設置州縣。沙漠以北，萬裏安寧，沒有兵塵硝煙。至於說高昌在流沙擁兵叛亂，吐穀渾在積石山歸屬不定，發一軍進討，全都蕩平。高麗射過誅滅，已經曆代，朝廷未能征討。陛下譴責它為逆作亂、殺害君主虐待民眾，於是親自統領六軍，前往遼東、碣石問罪，不到一月，就攻拔了遼東，前後抓獲俘虜達數10萬，分配在諸州，無處不滿。雪前代的舊恥，埋亡卒的枯骨。若比較功德，則高出前王萬倍。這些都是聖主心中所自知的，卑臣怎麼敢詳盡述說。