1932年4月24日，中共陝西省委書記杜衡來陝甘遊擊隊巡視，在旬邑宣布撤銷遊擊隊總指揮部，將部隊改編為三、五兩個支隊，這時劉誌丹已經回到了陝甘邊，就被任命為三支隊隊長，閻紅彥擔任五支隊隊長。4月下旬，劉誌丹率領三支隊在永壽、乾縣一帶活動。21日，他率領三支隊從旬邑出發，分兵兩路，一路派騎兵攻打永壽監軍鎮，殲敵20餘人；一路派步兵直達禮泉五峰山與騎兵彙合。4月底，又率部襲擊永壽常寧鎮與禮泉南坊、叱幹民團，消滅敵人300餘人，繳槍50餘支。
5月10日，陝甘遊擊隊三、五支隊集結於旬邑清水原。為了軍事上能統一指揮，中共陝西省委決定重建陝甘遊擊隊總指揮部，劉誌丹任總指揮。這時，敵人派出幾個旅的兵力，重兵進剿陝甘遊擊隊。當時，中共陝西省委就指示遊擊隊立即北上。劉誌丹主持召開隊委會議，分析了敵情，認為分駐中部（今黃陵）、宜君、洛川之敵的86師256旅511團戰鬥力弱，又離榆林、西安都比較遠，增援不易；再說這一帶又是山區，遊擊隊在群眾中又有一定的影響，利於作戰，於是決定向該地區行動，消滅敵511團。於是在5月15日晚上，劉誌丹指揮遊擊隊奔襲旬邑馬欄鎮，一舉殲滅國民黨86師511團的一個營部、兩個連和民團的一部分，繳槍200餘支。
5月17日，劉誌丹又率領遊擊隊發揚連續作戰的作風，在一天之內又連殲楊家店守軍511團兩個連和焦家坪、五裏鎮兩地的民團共500餘人，繳槍400餘支。戰鬥結束後，遊擊隊就在五裏鎮一帶發動群眾，打土豪分糧食，擴大紅軍，隊伍迅速發展至1500餘人。
5月20日，遊擊隊向東挺進，繼續向敵進攻，殲滅了白水縣及中部縣民團百餘人。隨後，部隊在宜川英旺鎮殲國民黨軍86師一個營，繳槍300餘支、彈藥兩萬餘發。
在此次反“圍剿”中，劉誌丹和他領導的陝甘遊擊隊，依靠地方黨組織和人民群眾的支持，運用遊擊戰術，在半個月之內，挺進數百裏，打遍了五個縣，參加大小戰鬥9次，8次獲得勝利，並殲敵1400餘人，繳槍1200餘支，粉碎了國民黨當局的重兵進剿。直到這時，國民黨軍86師才嚐到了陝甘遊擊隊的厲害，就由進攻轉入防守，而中部、宜君、洛川等地的反動民團，再也不敢輕舉妄動了。
1932年6月1日，黨中央在上海召開了有滿洲、河北、河南、山東、山西、陝西等六個省委負責人參加的“北方會議”，決定將陝甘遊擊隊改編為紅26軍，並決定派杜衡（曾任中共陝西省委書記）為紅26軍政委。
就在這時，由於身為三支隊二大隊長的高崗在戰鬥中臨陣撤退，使陝甘遊擊隊在甘泉臨真鎮戰鬥中失利。劉誌丹立即率遊擊隊自富縣向東轉移，在集義鎮消滅民團一部，進至韓城的上官莊，發動群眾，幫助地方黨組織建立了50餘人的赤衛隊。原計劃在此開辟根據地，但因遭強敵襲擊，傷亡較大，被迫退至甘肅寧縣麻子掌，部隊在思想上一時陷入混亂，在行動方向上發生了到底是南下三原還是北上陝北的爭執，雙方相持不下。
為此，陝甘遊擊隊總指揮部就在甘肅省寧縣麻子掌召開會議，統一了思想，確定了部隊行動方向，作出了以橋山山脈為依托，就地開展遊擊戰爭，等待時機向南發展的決定。同時將三、五支隊改編為兩個步兵大隊和一個騎兵大隊，閻紅彥任陝甘遊擊隊總指揮，劉誌丹任二大隊大隊長兼政委。
7月下旬，中共陝西省委派常委李艮到陝甘遊擊隊任政委。李艮到後，推行“左”傾錯誤，不顧敵人準備“圍剿”遊擊隊的嚴峻形勢和劉誌丹、閻紅彥等人的反對，在正寧南邑村連續召開幹部會議，空談創造新蘇區和紅26軍（此時，中央已同意陝西省委建立正規紅軍的意見，番號為紅26軍），批評劉誌丹、閻紅彥等所謂的“機會主義領導”，並限定20天內，在正寧五頃原完成土地改革和建立政權的任務。