加上北方金和蒙古持續不斷的軍事威脅，沿海必須布置海防。早在建炎元年（1127）秋七月，海州（今連雲港市）知州便向朝廷上奏說：“近聞金人於燕山造舟，欲來東南。”到金主完顏亮時期，金朝更擬從海上大舉進兵。紹興三十一年（1161）九月，完顏亮下詔伐宋，金將蘇寶衡等率領水軍七萬，戰艦六百餘艘擬沿海南下直接進攻南宋首都臨安。
金朝滅亡後，蒙古和割據山東的李全、李璮父子，在海防上對南宋造成了新的威脅。崛起於大漠的蒙古帝國不僅占據了中原，更征服了高麗和交趾，在海上對南宋形成了南北向的包圍，宋、蒙交戰初期，宋方間諜就報告說蒙古在“在膠西造戰艦練水軍”。
同時南宋沿海的治安形勢也比北宋惡化，由於戰爭連綿，社會局勢動蕩不安，從南宋初年始在沿海便出現了大股的海盜，嚴重威脅了海上交通安全，而北宋以來的海上走私活動繼續在沿海盛行。為了打擊海盜和海上走私貿易，加強海防建設，水軍被廣泛重視。
建炎元年（1127）通州長官郭凝鑒於“通州地界東北，正係海口，南接大江，最為要害。”在通州建立水軍，定時訓練。時任宰相的李綱建議在沿江重要區域建設水軍，頒布訓練規程，“宜仿古製以造戰船，上設樓櫓可以施弓弩，下運櫓棹可以破風濤。頒法式以授之。仍募習水者為水軍，以時教閱激賞”，以便在水戰中占得先機。不過這隻是一個水軍建設與訓練計劃，不久就隨著李綱的去職而擱置。
這一時期由於政局不穩和以宋高宗為代表的南宋政府對金一直進行乞和，水軍的建設與訓練未能得到實質性的進展。建炎三年年末（1129），金兵再次南下，輕易地突破長江防線，攻占臨安府後，又一直追擊高宗一行到大海，一路沒有遇到南宋水軍的重大抵抗，這反映了南宋水軍建設的薄弱和無力。
此後南宋政府也意識到水軍的重要性，紹興二年（1132）李綱認為“長沙有長江重湖之險，而無戰艦水軍。”招募、訓練水軍，“募水軍三千人，日夕教習……旌旗戈甲一新，觀者如堵。”訓練水軍取得初步成效。
紹興六年（1136）右司諫王縉上書：
舟師實吳越之長技，將帥之選既慎矣。而舟船數百，多閣海岸，士卒逾萬，未聞訓習。欲乞明詔將帥相視舟船損漏者修之，士卒疲弱者汰之。船不必多，取可乘以戰鬥；人不必眾，取可資以勝敵。分部教習，周而複始，出入風濤，如履平地。則長技可施，威聲遠震，折衝千裏之外矣。
政府也接受建議，命令時任沿海製置副使馬擴“閱習水軍戰艦”，期望可以達到“分部教習，周而複始，出入風濤，如履平地。則長技可施，威聲遠震，折衝千裏之外矣。”而且還應有訓練手冊一類的指導性書籍，李綱寫道：“分布戰船，依新降教閱水戰法式指揮施行。”
紹興和議之後，直至金完顏亮大舉攻宋以前，南宋水軍建設與訓練發展都比較緩慢。紹興三十一年（1161）李寶率領水軍經由近海攻擊金艦隊，其艦隊也不過是船“百二十艘”，浙江、福建弓弩手三千。
采石之戰雖然依靠水軍取勝，但是也不能據此斷定南宋水軍強盛，崔敦禮有首詩名為《至清口聞水閱甚盛邊人言辛巳歲敵騎逼淮劉信叔軍南岸欲載神勁弩至中流射之求數舟不可得今戰艦之盛前未有也因成四韻》，可知至少在高宗時期南宋水軍遠不是那麼強大。