北京保衛戰後，對下一步的戰守方略，廷臣中存在著嚴重分歧。戶部尚書兼翰林學士陳循力主把能征慣戰的將領和精銳部隊皆留京師。於是鎮守宣府的楊洪及其子楊俊，以及鎮守居庸關的羅通都被調到北京。而當時的一些將領，也以為打了勝仗，有了功績，就想晉官升職，在京師享受。有的雖派遣去鎮守邊關，卻賴著不走，如都督顧興祖等，雖承差遣，但尚未啟行。這些情況使得宣府、居庸關兵將全無，所有的不過是疲兵羸卒。紫荊關、倒馬關、白羊等關，在瓦剌軍撤退後的一個月內都還沒有設守。於謙麵對當時防務廢馳的情況，憂心忡忡，於十一月十五日上奏道：“宣府者，京師之藩屬；居庸者，京師之門戶。未有藩籬門戶之不固，而能免盜賊之侵損者也。”因此他要求朱祁鈺集合文武大臣六科十三道，對如何處置邊務從公會議。兵科都給事中葉盛也支持於謙的觀點。
在於謙等人籲請下，景帝祁鈺對北京及其外圍防務引起了重視，派遣左都督朱謙、都督同知紀廣、都督僉事楊俊往鎮宣府，右僉都禦史王竑等往鎮居庸關。又派遣僉都禦史蕭啟、都指揮僉事董宸赴河間府，僉都禦史祝暹、都指揮僉事趙宣赴保定府，右僉都禦史陳矩、都指揮僉事葛旺赴真定府，一文一武加強京西、京南府縣防務，敕諭各官加強軍事防備工作，警惕也先卷土重來。
為了整飭武備，於謙很重視提高士兵的素質和戰鬥力，強調平時對士兵的操練，他認為操練軍馬是國家重要的事務。而當時京軍的各營總兵、把總官，每次在朝參後才到教場操練，使得軍士在教場上久等，耽誤了操練。於謙對此奏請道：“自今乞令總兵把總等，凡直操之日，免其朝參，就令至教場操練。”於謙自己則不時地往來監督，查到懈怠偷懶的立即上奏皇帝，將其罷黜降罪。經過於謙等人的大力整飭，明朝的軍備力量逐漸加強。
也先在京城戰敗後，仍野心不死，在景泰元年（公元1450年）的春夏間又對明朝發動了幾次進攻，由於明朝的軍備力量增強，也先的進攻均以失敗告終。當時明朝內部不少將領還抱著與瓦剌議和的態度，大同參將皇親許貴的意見就很有代表性。他上疏說：瓦剌派了三個人來大同，邀朝廷派使者去講和，我方應該派遣使臣，帶著禮物款待瓦剌軍，以後再慢慢地製定討伐的計策。對此於謙堅定地答複道：“我與彼不共戴天，理固不可和。萬一和而彼肆無厭之求，從之則坐敝，不從則生變，勢亦不得和。貴為介胄臣，而愜怯如此，何以敵愾，法當誅。”景帝根據於謙的提議，下令切責許貴。從此，邊將人人主戰守，沒有人再講議和了。
力迎英宗改革兵製
也先自從俘虜了英宗朱祁鎮，原以為奇貨可居，欲扣作人質，使明朝關隘不攻自下，並可向明朝索要大量金銀財物。誰料想，在於謙主持朝政後新君已立，邊備大修，部署得力，著意戰守，傳諭各邊鎮“瓦剌奏駕（英宗朱祁鎮）至，不得輕出”。每當也先以送駕為名進行訛詐時，都被於謙以“社稷為重，君為輕”回絕。原來也先手中的奇貨此刻變成了空質，留著也就不起什麼作用了。殺掉他，無疑宣告雙方關係徹底破裂；送還他，便可作個順水人情。因此，也先有了送歸英宗朱祁鎮之意。
景泰元年夏開始，也先多次派使者來，請明朝派使臣迎回太上皇英宗，表示願意和明朝講和。但景帝卻怕英宗回來奪他的皇位，因此遲遲不肯回複。當時大臣們都主張速派使臣去迎回朱祁鎮，景帝就召群臣於文華殿，商議此事，這時於謙明確地表示讚成迎回朱祁鎮。
英宗祁鎮回京以後，於謙向朝廷提出“和議難恃”和“上皇雖還，國恥未雪”的警告。他條諫各項安邊的策略，堅持執行，專力於國防的充實。一麵加強真定、保定、涿州、易州以及永平、宣府、大同、居庸關、山海關等處的防務，增加守軍人數，按時修繕城堡，並於景泰二年遣都督僉事孫安率輕騎出龍門關收複獨石、馬營等八城，募民屯田，且耕且守，這樣就使宣府、懷來的防務更趨鞏固；一麵對軍官的貪汙怠職等弊端，嚴加糾察，整肅了軍紀；另外還推薦平江侯陳豫鎮守臨清，增築新城，保護漕船運輸的要道——運河；又對馬政、陣法、戰車、軍器、軍功製度多所改進。對於火器，也提倡創造，如采納巡關侍郎江潮的建議，製造“火傘”，燃放出去，可以驚潰敵軍馬隊。又采納應州人師翱的建議，製造有機關的火銃。
於謙不懈地加強軍事力量。他在執掌兵部的實踐中，深感明朝兵製中的一些弊病，為了從基本上提高軍隊的戰鬥力，積極從事對京營兵製的改革。
景泰二年（公元1451年），於謙開始改革京營軍製。他於三大營中挑選精勇軍士十萬人，編為五營操練，叫做團營。第二年，又將團營軍士增加到十五萬人，分十營操練，於景泰三年團營製度完全確立。沒有選人團營的軍士，仍舊歸於三大營，稱做“老家”。