清同治元年(1862年)三月二十三日，白旗軍攻占興義府城(今安龍)，興義府知府胡霖描死於亂軍之中，孫清彥以署知府接任。孫清彥認為府城已失，而興義縣有鄉紳團練的武力保證，決定將府署移設興義縣城。八月初，白旗軍六千多人由新城出發，將興義縣城外的清軍據點肅清，對興義城形成包圍之勢。安義鎮增援興義之清軍也被義軍張啄三部大敗於龍廣。九月，義軍進攻興義縣城，於二十九日第一次攻占興義縣城，斃知縣趙大鬆。
自旗軍攻占興義縣城一年多，清軍、團練兒度會攻均未果。雲貴總督勞崇光與貴州巡撫張亮基聯名向清廷奏稱興，義縣東界普安、南界廣西、西北接壤雲南、東南毗鄰興義府城，環縣皆為回逆占領，進攻實難同時，又積極準備攻複興義縣城。清同治二年(1863年)七月，清軍攻克北盤江沿岸布依族群眾聚居的三十六亭。雲南羅平團練於是年秋冬之交進入興義境，義軍遭到重創。八月十二日，各路清軍、團練向興義縣城開進白旗軍則堅守縣城。張淩翔、馬河圖率部三次增援未果，且目3名將軍降清，10名都統陣亡。清同治三年(1864年)春節，義軍乘清軍過年之機奇襲興義府城，在黃土坡殲敵800餘，但不利態勢仍未改變。繼留守府城的將軍馬忠降清後，將領孫毛羊、張西銘、朱天貴先後降清，府城陷落。張淩翔、馬河圖聞之，率部攻人府城，幾經巷戰，不支敗退，張淩翔於打武戰死，馬洞圖被俘自盡。自旗軍繼由金萬照、張寇忠、馬仲等領導。
清同治三年(1864年)二月初五，清軍與團練會合圍攻縣城，是夜初更時分，白旗軍將領張睬蘭率部打開北門，朝新城方向突圍。清軍克複興義縣城。雲貴總督勞崇光、署貴州巡撫張亮基奏報朝廷興義縣城搶陷己閱兩年，省中糧絢兵單，鞭目長莫及，鄉民盡被脅從，幾與化外無異。除了陳述克複興義的困難，實也說明戰事的殘酷。
清同治五年(1866年)六月，白旗軍擊敗駐防馬別河東岸的雲南省臨玩鎮總兵林自清，並尾迫不放，逼林部退回雲南。白旗軍馬仲部偵悉興義縣城兵力空虛，遂攻占馬別柯一帶，掃除了回進軍興義縣城的障礙，七月二十四日(1866年9月2日)，第二次攻占興義縣城。七月二十九日(9月8日)，興義縣各鄉團練合力攻城，自旗軍不敵，棄城由北門往新城方向敗退。
清同治七年(1868年)春，興義縣馬嶺納省大戶戴秉義，在陳良初協助下率部會同部分白旗軍渡過馬別河，襲擊興義縣北方門戶屯上，焚燒團首查寶山的營寨。馬仲部白旗軍萬餘人隨之由新城出發，渡過馬別向向興義縣城急進。由鄰縣白旗軍和馬別河下遊沿岸的苗族、布依族組成的白旗軍一部前來助戰，將縣城層層圍困。貴州巡撫曾璧光聞警，飛橄普安知縣劉正朝、普安廳同知吳宗蘭率領清軍、團練星夜馳援，但均被馬仲部分兵阻擊。同時，白旗軍加緊日夜圍攻縣城。清同治七年七月初二(1868年8月19日)大雨，人夜，白旗軍冒雨猛攻，終於第蘭次占領興義縣城。
白旗軍第三次攻占興義縣城後清軍、地方團練立即組織再度克複興義縣城的各項事宜。雲南巡撫岑毓英派都司陳發貴、張兆顯率所部清軍會合平彝縣團首張旭中所部團練兼程由叼安邊進攻貴州巡撫曾璧光令白旗軍叛將、安南營都司馬金魁、普安營遊擊易飛熊兩部進攻新城，引誘興義縣的白旗軍回援。清同治七年八月二十七日(1868年10月12日)，清軍、團練6000餘人分5路進攻興義縣城，白旗軍不支，兼有新城之危，乃放棄興義縣城退走。此後，自旗軍再也沒有攻占過興義縣城。
清同治十年(1871年)，經十餘年拚殺，白旗軍已精疲力竭，由進攻轉人防禦態勢清廷則由滇、黔、湘調兵遣將，圍剿義軍。安南、貞豐、普安廳等城池相繼被清軍攻占。自旗軍傷亡過半，馬仲、岩大五、岩小五等將領戰死。義軍首領金萬照令張定中與清軍聯係議和之事。由於清軍與白旗軍在議和條件上沒有完全達成一致，雙方戰事仍持續年餘。
清同治十一年(1872年)二月，從各地調至盤江八屬的清軍到之眾，經調整部署，將圍攻重點由自旗軍中心新城轉移至興義府城安龍。五月下旬，府城守將馬宗達棄城出降。六月一日，清軍終於攻破府城，守將張福祿自盡，其下3000義軍慘遭殺戮。隨後，清軍再度集結，圍攻白旗軍最後據點一一新城。數月間，雙方拉鋸爭殺，均傷亡慘重。
此時，太平天國已經失敗，黔東南苗族起義領袖張秀眉兵。
敗被俘，最後遭到殺害，餘部李洪基形勢危急，而與自旗軍關係緊密的雲南杜文秀回民義軍十之八九也被清軍殲滅，白旗軍處於獨力支撐的艱難態勢而清軍則壓力頓減，兵力充足，調度機動。至此，白旗軍實無力再戰。義軍領袖金萬照見大勢已去，為保軍民生命，答應貴州提督周達武提出的自旗軍停止抵抗，隻罪主教、主帥一人，其餘概不追究的議和條件，十一月一日與另一首領張運中至新城城郊馬家屯向清軍投降。至此，以回民為主體，堅持了14年之久的自旗軍起義失敗。