十一月，蘇觀生擁立朱聿??於廣州，年號紹武，丁魁楚、瞿式耜擁立朱由榔於肇慶，年號永歷。廣東"；百裏之內，兩君抗拒"；，二帝先而詆斥指責，繼而兵戎相見，於是高峽、三水之間，無日不戰。清將佟養甲、李成棟乘虛由潮惠以輕騎侵廣州，十二月十四日，清兵破廣州，殺朱聿??。清廷新任命的兩廣總督佟養甲，慕家玉之名，於是致書家玉，盡威逼利誘之能事，被嚴辭拒絕。佟養甲又糾合與家玉有交往的降清明臣及家玉同榜進士張元琳勸降，亦被家玉以："；玉惜此發也(當時清兵入關，便令人民按清製剃發)，拔去一莖，即禪我以清朝天子，猶且不屑，拘拘官爵，豈足雲乎？！"；拒絕。他一方麵積極組織義軍，一方麵派人與南海陳子壯、順德陳邦彥兩路義軍聯絡。(三人後被合稱為"；廣東三忠"；)永歷元年(清順治四年，公元1647)正月，東莞知縣餘經國降清，清軍入東莞，到處燒殺搶掠，引起東莞人民強烈反抗，中堂、道滘等水鄉一帶人民紛紛組織抗清。道滘的勝利鼓舞了張家玉，他立即派人到道滘聯繫，道滘首領葉如日派船迎家玉，尊為主帥。家玉精選驍勇精壯鄉兵五千餘人，加緊訓練，申明約束，整頓軍紀，誓師抗清。
三月初四，家玉起兵道滘，得惠陽淡水農民武裝首領李萬榮加入。三月十四，家玉率義軍約聯博羅韓如琰義軍攻入莞城，活捉清知縣鄭鋈，擒殺清典吏趙元鼎，同時任命原明朝的東莞儒學訓導張珆為知縣。布置停當後即還師道滘，為收復廣州作準備。十七日，清廣東提督李成棟率大軍攻東莞縣城，張家玉與之大戰於萬家租。由於倉促應戰，且清軍人多勢眾，家玉兵敗，退回道滘。二十八日，清軍攻道滘，大戰三晝夜，義軍雖斬殺清軍千餘人，但自軍亦傷亡慘重，道滘遂陷。家玉敗走新安西鄉(今屬深圳寶安)，得到當地大豪紳陳文豹的支持，"；諸山驍勇皆起應之"；，遂重整義軍，接著攻克新安。四月初十，李成棟遣戚元弼及義子賈九率軍攻西鄉，為家玉所敗。
六月十七日，李成棟親率大軍陷新安，轉而攻西鄉。清軍勢大，張家玉且戰且退，沿虎門(今東莞市虎門鎮)、厚街(今東莞市厚街鎮)退到企石鐵崗(今東莞市企石鎮)，得"；草澤之友"；姚金、陳穀子、羅同天、劉龍、李啟新等投效之眾五千餘人，力量得到補充，便揮軍先陷博羅(今廣東博羅)，再克連平(今廣東連平)、長寧(今廣東新豐)、歸善(今廣東惠陽)，後回師博羅。清軍圍博羅，家玉脫圍至龍門(今廣東龍門)，又招募得四五萬人，不久攻陷增城。
七月，陳子壯在番禺；九月，陳邦彥在清遠，先後為清兵擊潰。十月，李成棟集結步騎大軍撲向張家玉駐地增城，雙方大戰十日，家玉兵敗，身中九箭，負重傷，不願被俘，遂投野塘而死，年僅33歲。