督贛以後，餘以治贛必先清匪，害民最苦者，龍正文、陳細鬼、彭木香等，均緝獲顯戮，餘匪斂跡，人心大定。於是羅致人才，整理財政，創辦銀行，縮編軍隊，修築河堤。諸大端辦理完竣，即電請總理來贛。複電允來，而贛省擁戴總理之熱忱，日益高漲。先開省議會決定一切，並以百花洲陳列館為總理行轅，以林虎所率軍隊，任警戒拱衛。部署既定，即電九江要塞司令戈克安護蹕晉省。有張繼、馬君武、王正廷等隨行。
袁因餘歡迎總理來贛，銜之刺骨，欲去餘甚急。餘以深燭其隱，遂有去誌。夫慶父不除，魯難未已。總理乃派張繼、馬君武、邵元衝、白逾桓四人，到贛授意，聲罪致討。餘慮即時發動，世人或以爭位戀棧見疑；且討袁必須寧、皖、贛、鄂、湘、粵同時並舉，僅贛省一隅，恐難圖功，俟而（麵）謁總理請示後再返贛行之。僉以為然。時江西省議會及全省人民，均義憤填胸。餘乃召集全省各高級官，作一切準備。遂由九江乘輪赴滬，麵授總理方略。於民國二年七月十二日到贛之湖口，省議會開會一致推舉餘為討袁軍總司令。即日成立討袁軍總司令部於湖口，召集原駐湖口及隨行高級官，開緊急會議。眾推省議員楊賡笙撰討袁檄文，其文曰：“民國肇造以來，凡吾國（民）莫不欲達真正共和目的。袁世凱乘時竊柄，帝製自為，滅絕人道，而暗殺元勳，弁髦約法，而擅借巨款。金錢有靈，即輿論公道可收買，祿位無限，任腹心爪牙佳誰之把持。近複盛暑興師，蹂躪贛省，以兵威劫天下，視吾民若寇仇，實屬有負國民之委托。我國民宜亟起自衛，與天下共擊之。”發出對外通電，及對黨團公啟。語長不錄。
自贛省發動討袁數日，即有戰事。袁派李純統軍至贛，旅長林虎與之戰於瑞昌、德安間。餘早派員精察地形，守險搗虛，大破之。旋以北軍械精糧足，次第增援，遂不敵。團長周璧階以攻奪九江金雞山（坡）炮台死之，又餘邦憲亦以團長陣亡。餘見潯湖之戰失利，退駐吳城，命炮兵團長劉淩扼守望湖亭，複命方聲濤指揮一切。日盼湘、鄂援軍不至，而北軍陸海軍均抵湖口，向吳城進發。先以民船一艘，偽裝難民數十人迫近吳城，跪船首作哀求狀，劉為其所誑，未發炮，移時接近望湖亭。伏兵登陸，方聲濤揮刀斬數人，吳城遂陷。複命講武堂教官穆思堂，扼守鞋山，退卻中之各軍，始獲從容布置。餘勉殿後，再為守南昌之計。比抵南昌，而樵舍告急，城門複閉而不開。以電話告知憲兵司令廖伯浪（琅）：“若少遲延開城，必予以最嚴之處置。”一麵命第一營官兵越城而上，餘始得入城。是日接樵舍守軍電話，索浮橋，餘命團長萬勳搜集材料，負架設之責。翌日竣事，吾軍始克安全退卻。而北軍已到牛行附近。牛行與南昌城，隻隔一江。有鄧祖禹者，江湖通人也，吾命其統率江西內河各小輪，整頓成績頗佳，茲乃密囑其準備快輪數艘，待餘於賜福門外。餘見李純兵，勢如潮湧，贛軍鮮有能戰之將，亦無訓練之兵，湘、粵援軍又久不至，但贛軍自湖口宣布討袁，至退至南昌之日止，以最少之兵，最劣之武器，已艱苦支持兩閱月矣。
湘督譚延愷來電，勸赴湘省，並有“微服過宋”之語。餘誠知湘援軍雖到，亦不能挽回頹勢，粵軍更無出動消息，何子奇、李明揚、卓仁機複勸之行，餘乃乘鄧祖禹所備之各輪離南昌。遙見北軍炮兵，在牛房（行）排列，向餘所乘之輪發射，空炸點非過高，即過低，隨行諸人，均獲無恙。船達樟樹鎮，譚督派來之援軍，此時始到萍鄉。有唐蟒者，見餘後，表示湘省當局及同黨意見，援軍次第到達，餘囑停萍鄉待命，乃偕唐赴袁州。途中漸見退兵有紛亂之狀，有在街市劫掠。人民捆一兵士至，即槍決示眾，秩序稍複。翌日抵萍鄉，旋乘火車至長沙。有譚督派來代表請餘乘輿，到一較大之洋房，代表曰：“此日本領事館也。”餘曰：“奚為至此？”彼曰：“譚、程兩公即來。”餘隨入館休息。領事與館中諸人，招待均極殷勤。少時，都督譚延愷與軍政司長程潛，先後來談，慰勉備至。餘謝其盛意，並曰：“袁賊想稱帝，殆夢耳！吾黨必能共同努力，殲滅之也。”二公去，餘乘領事館所備之汽船赴大冶。次日乘煤船。啟錠，唐蟒與偕過九江，船長告餘“將至金雞坡炮台，請公忍耐片時”，匿餘於彼衣箱內。“伍員囊載而出昭關”，事頗相類。及湖口，船長又語餘雲：“將過湖口炮台，此處為公發難之地，台兵均係舊人，當無意外。”旋請餘出。猶見鞋山及附近各處，當日與北軍鏖戰，炮彈遺跡，宛然在目。至馬當，船長曰：“此江西第一門戶，備炮已移去。過此，船行江麵無阻。”至第三日，已至黃埔，出海向日本前進矣。