房玄齡根據唐太宗“要把國家治理好，最根本的就在於用人要謹慎。根據才能大小授予官職，一定要減少官員人數”的原則，開始對中央機構進行了大刀闊斧的改革調整，對所有中央官員重新進行了考核。依據考核的成績，再從中篩選優秀者，留在朝廷繼續效力。最終把朝廷文武官員減少到六百四十三人。這個數字跟隋朝朝廷官員二千五百八十一人相比，減少了整整四分之三。
在這項動作極大的政治改革過程中，觸及到了許多人的切身利益。但由於房玄齡的工作周密穩妥，大得人心，順利地完成了這項艱巨的任務，沒有引起任何局勢的動蕩和不安，並且在大臣中樹立了自己的威信。
其次，在隋朝末期，朝廷中官員消極待命，辦事推諉，而且在房玄齡縮減官吏之前，唐初政府機構臃腫。這些都造成了官員們辦公效率低下的現狀。為了整頓這一現象，房玄齡開始了對整個中央管理機構內部紀律進一步的改革。主要是為各項官吏管理製定了相應的製度和法規，保證了各個官員在他所任的職位提高效率。如：《唐律·職製》其中包括，明確對很多違反朝廷管理的行為提出了嚴格的懲罰措施。如：各級主管一旦擅自增加自己一級的官員，依數量而定，給以懲罰，超編一人杖責一百大板，超編三人以上再加一百大板，超編十人將會處以徒刑兩年。為了防止官員出現在其位不謀其政的現象，房玄齡在《職官法》、《考法》中還對各級行政機構的職責進行了細化，明確了每一個職位的責任所在，並且對官員的考核作出了詳細的規定。而且嚴格了各級官員的輪流值班，每日執勤的製度，要對執行情況作出考核，如果沒有達到考核標準將會受到懲罰，《唐律·職製》中規定：“各級官吏每日出勤要進行”點檢“如果點名不到，一點笞十；各級官吏必須值班或輪流值宿，如果應該值班沒有值班或者應該值宿沒有值宿的各笞二十”。
對官員執行公務出現錯誤，辦事拖拉，也作出了極其嚴格的懲罰規定。房玄齡用這些相關的措施、製度和法律約束了官員超編，使貞觀年間機構精簡，官員辦事效率很高，政府官員各個精於自己的職責，廉潔奉公。
房玄齡不僅對中央管理機構內部紀律進行了進一步的改革，而且對整個國家的法律也做了相關調整。隋朝法律苛刻使老百姓民不聊生，所以在高祖李淵起兵之時，就宣稱要製定寬大的法令，這也吸引了許多深受隋法令折磨得老百姓參加唐軍。唐太宗即位後繼承了高祖對於法令“寬平”的原則，讓房玄齡負責修改法令製定並在《貞觀律》於貞觀十一年昭告天下。《貞觀律》中充分體現了唐太宗寬仁慎刑的思想，將過去兄弟之中有一人造反，株連九族的刑法減輕到祖孫兄弟有關聯者都被發配的程度。房玄齡和魏征都讚成用寬平的法令治國，而不是用嚴厲的法令來威懾人民。在這種思想下，製定的法令有效地緩解了階級矛盾，穩定了唐初的社會局麵。而且由於《貞觀律》製定得比較係統，且便於實施，所以成為了以後各個朝代立法的典範。為我國封建刑法的製定展開了嶄新的一頁。