遵義縣城的匪亂更是令人堪憂，城內有國民黨退休的中將、少將和校尉軍官3000餘人，國民黨逃跑時留下了大批的國民黨特務進行“應變”。大量土匪也偷偷地混進了城裏。解放軍和地方政府並不完全了解這些情況，一時敵我難分，無法辨別對方的真實身份。
縣城裏麵的特務活動十分猖撅，縱火、投毒、打黑槍、夜間襲擊行人的事件時有發生。這個時候，西南軍區發出了剿匪的工作指示，戰士們接到命令後，軍情振奮，決心要把土匪的狂妄壓下去，給人民群眾創造一個好的社會環境。
但如何有效打擊囂張的土匪呢？經過認真商議後，遵義軍分區向上級建議：
遵義暫不鎮反，采取穩住的辦法，派人打進敵人內部，了解情況，待條件成熟，一網打盡。
五兵團司令部表揚了遵義軍分區能夠據本地實際，靈活機動地執行上級指示的做法，批準了遵義軍分區的建議，並作出了指示。
之後，遵義軍分區組織了“遵義城肅反委員會”，楊俊生為主任，公安局長馮祖華為副主任。撤銷遵義崗哨，停止清查戶口，不再捉拿土匪，目的是想讓遵義縣城暫時安定下來。
在使遵義安定的同時，解放軍派人打入敵特內部，摸清土匪的實際情況，有效地掌控土匪的行動。由於遵義縣土匪激增，活動頻繁，軍分區在3月31日成立了遵義縣剿匪指揮部，由一三六團二營、一三九團一個連協同，打擊遵義縣土匪。
到了1950年3月底，貴州省委、軍區，確定暫時放棄20多個不易控製的邊沿縣。4月初，匪首勾結在一起，形成三股較大的土匪勢力，進行瘋狂的破壞活動。這時，在餘慶、甕安的國民黨起義部隊叛變，流竄遵義地區，更加重了遵義的匪亂。
解放軍和政府機關主動退出了匪亂比較嚴重的地區，準備把大批土匪集中引誘到這些地區後，再合圍剿滅。5月9日，遵義軍分區發出剿匪工作補充指示，要求部隊在前段鞏固中心、控製要點、修築碉堡的基礎上，集中兵力打擊土匪。
剿匪部隊從5月上旬在遵義、仁懷南部地區大力開展剿匪工作，合擊沙土、安底的土匪，又協同一三九團二、三營奔襲金沙，回剿鬆林。到5月底，俘匪400餘名，斃傷160多名，爭取180多名。
遵義的剿匪工作取得了初步的勝利，社會秩序有了一定的好轉，川黔公路暢通無阻。但匪患依然嚴峻，其他地區的匪亂還很猖獗。貴州各地都在積極執行剿匪行動，戰士熱情很高，下決心要清除這群惡棍。