不過百姓自發的起義也不斷發生，前年春天在廣東新會便發生了一場大規模的暴動，而趙昺一打聽還有自己的親戚參與其中。此次舉事的叫林桂芳，他的父親林獲曾任宋朝的瓊州太守，致仕居鄉。在行朝轉戰廣州附近時，林獲與護駕的趙宋宗室趙必次相好，結為至交。
趙必次原名遜崖，趙匡胤的十一世孫。登進士，被封為上柱國。元師攻陷臨安，隨楊妃護二王南逃，由閩到粵，托嗣長子趙良鈐、次子趙良縂於林獲，其戰死在崖山。林獲擔負撫養趙嗣之責，將他們匿藏在睦洲鎮東鄉，改趙良鈐名為林大奴、趙良縂名為林二奴。
林獲不負所望，對二人待如至親，詩禮庭訓，練弓習藝，常年不懈。林獲有二子，次子林桂芳好義習武，與趙氏兄弟友愛相投。數年後瓊州日盛，幾個年輕人一商量就舉事響應，在皂幕山之西的羅旁堅旗舉義，聚眾萬人，抗元複宋。
想想幾個毛頭小子，即沒有經過軍事訓練，又沒有領兵作戰的經驗，腦子一熱就憑一時之勇豎起義旗。新會與廣州咫尺之遙，又是沿海重鎮，元軍怎麼會坐視。同知廣東宣慰司事王守信率軍鎮壓，一戰便義軍便敗，損失三千餘人，軍帥潘舍人被擒。大敗之下幾個人才知道打仗不是那麼好玩兒的事情，隻能退守皂幕山，在敵軍圍攻之下危若懸卵。
此時，平康歐南喜和馬南寶借機起事，增城蔡大老、鍾大老、唐大老等響應，擒殺元廣東道運鹽轉運使合剌普華，合兵增援林桂芳部。一時間嶺海震動，敵將張玉將兵萬人會同江西行省兵馬征討，雙方麓戰多時屢敗元軍。眼見形勢大好，歐南喜和馬南寶轉攻廣州，但屢戰不克，隻好再回新會，並聯絡黎德。黎德隨後集聚大小船艇七百餘艘，號稱二十萬眾起事響應。
眼見廣東的事情越鬧越大，已經鬧翻了天，趙昺當時氣得腦瓜仁疼。他本想借著與斡脫商人的合作悶聲發大財，積蓄力量，布置棋子，同時采用邊戰邊積累經驗的方式鍛煉新軍，同時武裝義勇建立牢靠的根據地，前時一切順利，步軍十個師，陸戰隊三個旅換裝後皆以經過實戰，並收編了五支義勇，擁有兵力十數萬。
可幾個年輕人搗亂也就算了，趙昺已經遣水軍進入崖山準備出手將自己的倆親戚接到瓊州了事，沒想到馬南寶卻借機起事，糊裏糊塗的攪了進去。而黎德是事務局收編的海寇隊伍，本來是利用他們走私貨物，運送私鹽的，這下也跟著起哄，想想二十多萬人又打廣州，又殺官員的如何瞞得住。偏偏人家還好心好意的打著‘反元複宋’的旗號，賬肯定是要算到自己頭上了。
果然沒幾天，斡脫商人便找上門來問罪，稱瓊州不遵協議，擾亂了廣東他們已經壓不住這件事了。趙昺也很無奈，說起來這些斡脫商人也算夠意思，前時因為自己所屬的一支販鹽隊伍與江西行省的招討使答失蠻發生衝突，己方隊首陳良臣發動東莞、香山、惠州的各個販私隊伍上萬人準備對抗。最後還是斡脫商人們走通了江西行省按察使的門路，竟然將答失蠻罷免，才平息了此事。
而此次事情鬧得大了，蒙元江西行省以都元帥課兒伯海牙、宣慰使白佐兩個萬戶，會同王守信征剿‘叛軍’。對於這幫無組織無紀律的‘草寇’，趙昺真想撒手不管，任由他們被元軍剿滅，但是轉念一想那邊好歹有自己的倆皇親。再有馬南寶因為資助行朝糧餉被授予工部侍郎，聖駕還曾在他們家住過，人家也是效忠朝廷。若是撒手不管自己顯得真是不夠意思。