但是這些軍事武裝大都在戰爭中建立，從某種意義上說，他們都是統軍將領的私人武裝，既不屬三衙統管，樞密院也調動不了，隻聽命於主將，比較有代表性的就如“嶽家軍”、“韓家軍”、“劉家軍”等。趙構迫於大敵當前，不得不承認這些軍隊的合法性，用以維護自己的統治地位。
而隨著抗金戰爭的深入，武將的權力不斷膨脹，趙構也就越來越坐臥不安，對擁有兵權的大將更是疑忌，於是謀劃收回地方軍將的兵權，結果中興四將被罷黜，而嶽飛被殺，令本已分散的兵權再度集中趙宋皇室手中，保證了趙宋王朝的延續。
至於嶽飛之死，說法很多，至今也是爭論不休。但是趙昺以為將這件事放到曆史背景之下，嶽飛之死與南宋初年複雜的政治經濟軍事形勢息息相關，是利益糾葛中的犧牲品，也可以認為是一個時代的悲劇。但當蒙元崛起後，麵對威脅，宋廷又不得不依重走老路，依靠邊軍阻擋敵軍的入侵。
表麵上雖然為形成割據，但事實上已然形成由武將家族控製地方的局麵，也為宋朝的滅亡埋下伏筆。而這種悲劇在南宋各個時期也在不斷上演，他以為這與戰爭的形勢，皇帝個人能力及國內形勢息息相關，且出於對藩鎮割據的防範。
至於到了趙昺曆史又重演了一次，這裏事情反而變得簡單了，可以說是和平整編。但這也是形勢所決定的，宋王朝彼時已經全麵崩潰，禁軍在戰爭中幾乎損失殆盡，所依靠的地方軍隊在元軍的打擊下或敗或降，已經不成氣候，無法形成割據勢力。
到趙昺繼位時，行朝控製的軍隊就是一盆雜燴菜，禁軍和淮軍又在崖山之戰中被打殘，而新興的帥府軍勢頭正盛，使得他可以順利收回兵權。在瓊州巴掌大的地方，也無法形成割據，大家夥也隻能抱團取暖才能夠活下去，而此時的宋廷在蒙元眼中更像是武裝割據勢力。
即便如此，趙昺還本能似的將軍隊分成了兩個體係，一個是親自調遣的禦前護軍，一個是歸於樞密院指揮的禁軍。現在想來他不自覺的行為更多想的是如何自保，而不是相互製衡，不過他也理解了為何宋朝的曆代皇帝們為何癡迷於建立‘大禁軍’，因為如此才能心安啊！
進入江南後，當時的形勢下趙昺將禁軍劃分為兩個大的軍事集團，全部分駐各地，並設置製置司。由趙孟錦和江鉦分別統領江東和湖廣軍政，而臨安和腹地地區則由他直轄的禦前護軍駐守，實際上形成了類似於唐朝時期的軍鎮製度。
趙昺不是沒有意識到這種形式有悖於宋朝的製度，但他認為在嚴峻的軍事形勢下最為有效的方式。當時地方軍尚未建立，禁軍承擔著守衛邊境的職責，一旦有戰事發生，鎮守在邊界地區的軍隊可以做出快速反應，而製置使能夠根據情況調動各種力量迅速投入戰鬥，避免層層請示貽誤戰機。
當然這種方式在朝中也是充滿爭議，認為如此地方權力過大，削弱了朝廷的統治力。一旦主帥經營日久有形成當年呂氏集團控製邊鎮的可能，其若有異心對大宋來說就是滅頂之災。趙昺知道臣僚們的擔心不無道理，畢竟趙孟錦是趙氏宗室，其若坐大誰敢保他沒有奪位之心。
江氏一門在抵禦蒙元入侵中的功勞有目共睹，在朝在野都有崇高的威望，且江璆和江鉦兄弟皆是朝廷文武重臣，子弟也多在朝中和軍中為官。若是他日有了異心，相互呼應，便會威脅到朝廷，脅迫皇帝。
彼時趙昺沒有聽從群臣的諫議，執意為之，一是出於自己對軍隊絕對控製的信心；二是對他們的信任，相信他們不會背叛自己。但是剛剛聽王應麟的一番話，他有所醒悟，自己對他們的信任，其實也讓他們承受著來自各方的壓力。
當下趙孟錦前時欣然接受提舉鴻慶宮之職，辭去兵權，江鉦現在疏於對軍隊的管控，很可能都是為了‘避嫌’，以免引火上身……