一次，為了檢驗神宗學習的成績，張居正給他講了一個宋仁宗不愛珠寶玉器的故事。故事講完了，他說：“自古以來，那些隻看重珠寶的君主是不可能幹出大事業的。”神宗馬上接著說：“珠寶是沒有用處的東西，賢臣良將才是真正的寶貝。”張居正一聽，露出幾分喜色，連忙誇獎說：“陛下說得很對。凡是聖明的君主均重視五穀，而對珠玉看得很淡薄。因為五穀能養人，珠玉呢，餓了不能當飯吃，冷了不能當衣穿。”“先生說得有理。”神宗說。“陛下如此聖明，真是大明朝的福氣，也是黎民百姓的福氣。”張居正高興地稱讚著。他想，皇上已經可以擔當起治理國家的重任了，自己總算沒有辜負先帝的囑托。
張居正耳聞目睹了“庚戌之變”，主理朝政後，他對國家的安全和軍隊的素質甚為擔心，便一直謀劃著整頓邊防，要使邊關安定，人民和睦。
隆慶元年(1567)，張居正入內閣參政之初，韃靼首領俺答率軍直逼京師，北京危在旦夕。盡管後來敵兵在大肆掠奪之後引兵北退，但皇上和大臣均意識到應徹底整頓軟弱無力的邊防了。工科給事中吳時來上疏推薦譚綸、戚繼光駐兵於薊州，加強北部邊防。這一建議馬上得到首輔徐階的支持，但由於新任兵部尚書霍冀對情況並不熟悉，主持整頓薊、遼，鞏固邊防的重任就落到了張居正身上。
張居正從整頓邊防入手，正式開始了他醞釀已久的改革事業。他大膽地任用了一批智勇雙全的將領，對他們“信而任之”，因此“一時才臣，無不樂為之用，用必盡其才”。他所重用的譚綸、戚繼光、李成梁、王崇古、方逢時等人都大顯身手，充分發揮了自己的才能和智慧。
其時，北邊戰守的重心在薊州。禦倭名將譚綸、戚繼光主持薊州防務後，時任內閣大學士的張居正給予他們大力支持。譚綸提議築造敵台，張居正立即批允譚綸、戚繼光二人“圖上方略，築敵台三千，起居庸至山海，控守要害”。戚繼光強烈要求改革薊州軍製的提議也立即得到了張居正的支持。短短的幾年裏，戚繼光勵精圖治整編防區，訓練新軍，常備不懈，一切有條不紊地進行。他的軍事才能再次得到充分的發揮。在戚繼光鎮守薊州的16年間，各部蒙古再也未敢侵犯邊境。
在遼東方麵，張居正任用出身貧寒但有大將之才的李成梁。從隆慶元年（1567）起，李成梁在遼屢敗蒙古土蠻部入犯，其後被提為總兵鎮守遼東。李成梁鎮守遼東22年，先後10次連奏大捷，其武功之盛是數百年來未曾有過的。
張居正還任用王崇古、方逢時鎮守宣化、大同。他們鎮守邊疆，開屯田，加緊練兵，使邊關防禦力量大大增強。在張居正的主持下，經過幾年的努力，大明扭轉了長期以來邊防危敗的局麵，戰守力量日益增強，蒙古犯邊事件逐年減少。
在加強防禦力量的同時，張居正還積極尋求改善蒙漢關係的門路。他命令沿邊將帥，要抓住一切有利時機，積極發展同蒙古的友好往來，即便有一線和平希望，也不要兵戎相見，一切為百姓的生命財產及生活安寧著想。宣大總督王崇古屢次派遣同蒙古有關係的人深入蒙古內部，發表布告並宣布：藩漢軍民凡由蒙古投奔流族地區者，一律以禮相待並接納安置。這果然在蒙古地區引起很大反響，投奔而來的人口越來越多。
國政行“考成法”財經揮“一條鞭”
其時，朝中空議盛行，人浮於事，政令不通，麵對這樣千瘡百孔的局麵，張居正說：“當大過之時，為大過之事，未免有剛過之病，然不如是，不足以定傾而安國！”他的意思是說，當國家已經麵臨危亡的時刻，必須使用強烈至猛的政策來治理。雖然這樣做可能會有些過頭，但如果不這樣，就無法扶起穩固將要傾覆的基業！
任內閣首輔伊始，張居正就遇到了一個難題：“同監軍”馮保的侄子因毆打平民觸犯了法律。馮保是大內總管，且又有恩於張居正，因此無人敢處理，朝野上下都在靜觀其變。張居正得知後，毫不手軟，立即將其革職，並杖責四十。而後，他還通告馮保要嚴肅家教。
黔國公沐朝弼，屢屢違犯禁製，仗著自己是有功勳的三朝元老，並不把張居正放在眼裏，朝中也無人敢把他抓捕執法。他口出狂言說：“張居正算個什麼？我當丞相時還沒有他呢！”這一天，張居正親自登門，進門便道：“黔國公請了。”沐朝弼裝作沒聽見，躺在那裏不搭理。張居正又放大聲音說：“黔國公，有禮了。”沐朝弼還是裝耳聾，不動絲毫。張居正第三次高聲喊道：“黔國公，請起見禮了。”沐朝弼還是不動身。張居正對門外一揮手，說：“士卒們在哪裏？速將蔑視禮數的沐朝弼抓起來，蔑視禮法如同蔑視王法，三次蔑視王法該當送進監牢了！”張居正生平展覽館的太嶽堂言畢，一行兵卒從大門外一擁而進，將大躺椅上的黔國公沐朝弼戴上枷鎖，關進了大牢。沐朝弼後悔不迭，哀求張居正手下留情。張居正說：“先禮後兵，古人傳統。令行禁止，毫無例外。”沐朝弼屢次違法的事件此次一並判罰，他被處以終身監禁，禁錮在應天的大牢之中。
這樣，張居正終於在朝中樹立了自己的權威。隨後開始考慮如何從根本上治理弊政，繁榮經濟了。針對當時的經濟形勢和官吏製度，他製定並實施了“考成法”和“一條鞭法”。
“考成法”最主要的內容有兩條：其一，六部和都察院給所屬官員應辦事務規定完成期限，並分別登記在三個賬簿上，一本由部院留作底冊，一本送科道，一本呈內閣。其二，六部和都察院按照賬簿登記，對所屬官員承辦的每件事情，逐月進行檢查，完成一件，注銷一件，如若沒有按期完成，必須如實申報，否則以違罪論處；六科亦根據賬簿登記，稽查六部的執行情況，每半年上報一次，並對違限事例進行議處；內閣同樣亦根據賬簿登記，對六科的稽查工作進行檢查。這樣，六部和都察院檢查所屬官員，六科稽查六部，內閣監督六科，層層檢查，內閣總其成，內閣遂成為名副其實的政治中樞。這就是張居正的統治體係，也是他對明代吏製的一大改革。
“考成法”賞罰分明，因而，官員們的辦事效率大大提高。自上而下就如同一台流水線作業，各項工作穩定而有序地進行著。隨著“考成法”的實施，官員的職責更加明確，內閣管理起來自然方便多了。
接著，張居正以推行“考成法”為中心，決心使腐敗到極點的吏治得以整頓，使腐敗之風得以改變。他依據立限考成的三本賬，嚴格控製著從中央到地方的各級官員。每逢考核地方官的“大計”之年，張居正便強調要把那些秉公辦事、實心為民的官員列為上考，把那些專靠花言巧語騙取信任的官員列為下考，盡行裁革那些吃糧不管事的冗官。
萬曆八年(1580)，張居正下令撤蘇鬆地區擅自添加的管糧參政，並責成吏部檢查各省添設官員人數，核實上報。萬曆九年（1581），一次裁革冗員169名。在他當政期間，裁革的冗員約占官吏總數的十分之三。
與此同時，張居正又廣泛搜羅人才，把那些擁護改革、政績卓著的官員提拔上來，委以重任。萬曆四年(1576)十月，神宗審閱了關於山東知縣孫鳳鳴貪贓枉法的報告後，問張居正：“孫鳳鳴進士出身，何以如此放肆呢?”張居正說：“孫鳳鳴正是憑借他進士出身的資曆，才敢這樣放肆。以後我們用人，應當視其才幹，不必問其資曆。”神宗表示讚同。有了皇帝的認可，張居正便徹底打破了論資排輩的傳統偏見，不拘出身和資曆，大膽起用人才。他主張用人時要“論其才，考其素”，即對才能和品德進行全麵考查。同時，他又注意到每個人的長處和短處，用其所長，避其所短。這些被破格選拔的文武官員都在改革中發揮了骨幹作用。
政治、吏製穩定之後，張居正又根據大學士張四維和呂調陽提出的稅製改革措施，施行“一條鞭法”。
“一條鞭法”最早由福建巡撫龐尚鵬提出，他主張把田賦、徭役及其他名目繁多的雜稅、雜征、雜差統統合為一體，按照各家各戶的具體境況重新核實編定，將有丁無糧的編為下戶，有丁有糧的編為中戶，糧多丁少和丁糧俱多的編為上戶。在總數確定後，按照丁、糧比例，將所有賦役派到丁、糧裏麵，隨同完納。此即“一條鞭法”。早在嘉靖年間，此法就在福建、江西等地推行了。但50年來朝中對此爭論不休，大臣們各陳利弊，以致政令屢行屢止，未成統一之策。張居正認為，推行“一條鞭法”可以解決財政困難，使國家度過危機。