12月上旬，各路遊擊隊在甘肅省合水縣黑慕原、塔兒原地區會合。根據陝西省委指示，南下淳化地區。就在這時，根據1932年4月20日中央作出的《關於陝甘遊擊隊的工作及創造陝甘邊新蘇區的決議》，同意中共陝西省委創建正規紅軍，規定番號為中國工農紅軍第26軍41師的決定精神，省委指示遊擊隊開往宜君轉角鎮整編，準備成立紅26軍。此時中共陝西省委書記杜衡以中央北方局特派員的身份來到部隊，利用部隊改編機會進行宗派活動，打擊領導幹部，撤銷了謝子長和劉誌丹等主要領導人的職務。
1932年12月下旬，杜衡來到陝甘遊擊隊。12月20日，杜衡在宜君楊家店召開黨、團員大會，宣布省委改編紅軍陝甘遊擊隊為中國工農紅軍第26軍第2團的決定，杜衡任軍政委兼團政委，並對遊擊隊一年來的活動橫加指責。
杜衡在12月22日召開的黨、團員大會上，嚴厲批評謝子長、劉誌丹、閻紅彥、楊重遠等犯了“流寇主義”、“梢山主義”、“土匪路線”、“右傾機會主義”的錯誤，還擅作主張，給予謝子長留黨察看的處分，並強蠻地撤了劉誌丹、謝子長等人的領導職務，同時挑動戰士召開軍人大會，批判鬥爭謝子長、劉誌丹、閻紅彥、楊重遠，欲將劉誌丹、謝子長、閻紅彥、楊重遠開除出部隊。他還強令謝子長、閻紅彥離開部隊去上海“受訓”。當天還召開了紅2團軍人大會，推選王世泰為紅2團團長。
由於謝子長、王世泰和廣大指戰員的強烈要求，加上杜衡本人不懂軍事，才將劉誌丹、楊重遠留在部隊，令謝子長、閻紅彥去上海臨時中央“受訓”。 劉誌丹、楊重遠雖然勉強留在部隊，但不分配重要工作。劉誌丹這時雖沒有職務，卻以黨的利益為重，積極為團長出謀劃策，實際參加了戰鬥的指揮。
1932年12月24日，杜衡又在宜君轉角鎮（今屬旬邑）召開軍人大會，宣布中國工農紅軍陝甘遊擊隊正式改編為紅軍第26軍第2團，並舉行授旗儀式。王世泰任團長，杜衡兼任軍、團兩級政委，鄭毅任參謀長，劉誌丹任政治處長。為了便於控製部隊，杜衡在改編中規定幹部必須從班長和戰士中選舉產生，由政委任命，原陝甘遊擊隊排以上的幹部全部被剝奪了被選舉權。
麵對這種無情打擊，劉誌丹表現出堅強的黨性修養。他心地坦蕩，顧全大局，毫不計較個人得失，仍積極協助團長王世泰做好工作，幫助起草了《政治工作訓令》和紀律條例，並盡一切可能維護部隊的團結，表現出堅強的黨性，贏得了部隊幹部戰士的擁戴。遇到戰鬥，他總是精心擬定作戰計劃，並協助團長、參謀長指揮戰鬥。由於他工作出色，幹部戰士都親切地稱他為“我們的參謀長”。
但是，由於杜衡繼續推行“左”傾路線，隻講鬥爭，不搞聯合，主張打倒一切。結果敵人越打越多，根據地越打越小，最後隻剩下了被敵軍重重圍困的照金中心區薛家寨。傷員無處安置，糧食供給不濟，情況十分危急。由於杜衡一意孤行、一味蠻幹，紅26軍成立才半年多，幾乎就被搞垮了。
劉誌丹和他領導的陝甘遊擊隊就是在這樣的艱難困苦當中，度過了難忘的1932年，迎來了1933年。這一年當中所發生的一切，既給陝甘地區的武裝鬥爭帶來了巨大的損失，也給劉誌丹同誌的心靈造成了不可磨滅的創傷。但是，劉誌丹同誌並沒有被暫時的困難所嚇倒，他創建南梁革命根據地和恢複紅26軍的決心並沒有動搖。