有了建立革命根據地的決心，還得要有自己的工農武裝，要有自己的革命隊伍。為了發展工農革命武裝，劉誌丹又繼續著他的“兵運”工作。
1931年1月，劉誌丹率領他的部隊進駐瓦子川。2月，劉誌丹帶著隊伍進駐合水固城川，與趙連璧、同守孝、賈生財等農民武裝會合後，組成了一支新的遊擊隊。因為劉誌丹“太白奪槍”的故事在陝甘邊地區廣為流傳，老百姓都知道了劉誌丹的部隊，知道他的隊伍是為百姓做事的，而劉誌丹也就像傳說中劫富濟貧的大俠，得到了老百姓的支持。很快，這支遊擊隊就擴大到四百多人，並在固城川麻峪村進行整編，劉誌丹任總指揮。
劉誌丹的這支遊擊隊馬上引起了隴東軍閥陳國璋部謝紹安旅的注意。於是，在一個月以後，劉誌丹率領部隊經過寧縣盤克原時，就遭到了謝紹安旅騎兵的襲擊，損失慘重。劉誌丹率部分黨員和骨幹突出重圍，來到子午嶺山區，後又轉到中部（今黃陵）小石崖休整。
這時，高崗正好帶著陝西省委的密信來到了職田鎮。高崗把密信藏在一本書裏，一路上曆盡千辛萬苦，才把省委的這封密信安全地交到了劉誌丹的手裏。在這封密信裏，劉誌丹被陝西省委任命為中共陝北特委宣傳委員，省委同時指示劉誌丹要想辦法再次打入蘇雨生部，擴大軍事實力。
1931年3月，軍閥蘇雨生又邀請劉誌丹到他的部隊去帶兵。蘇雨生知道劉誌丹是黃埔的畢業生，能領導軍隊，在陝北又很有號召力，就邀請他到自己的部隊擔任補充團團長。劉誌丹和謝子長再次打入蘇雨生部後，就在蘇部擔任補充團團長，帶著部隊駐紮在旬邑的一個叫職田鎮的地方。劉誌丹利用蘇雨生的信任，和謝子長在蘇部發展革命武裝力量，等待時機準備發動兵變。可是沒過多久，一場意外的變故，卻讓這次兵變計劃流產了。
1931年夏，蘇雨生獲悉他的補充團有共產黨在活動，就借職田鎮土豪劉日新因拒絕向補充團交糧而自殺的事件，以商議軍機為名，將劉誌丹召到彬縣，然後把他抓了起來，關押在彬縣，並且將補充團繳了械，還要以“叛亂罪”判處劉誌丹死刑。這一變故，立即引起了陝西省委的重視。
其實，這次變故是蘇雨生的一個陰謀。因為當時那個補充團雖然是蘇雨生的部下，可是蘇雨生並不給他們發糧餉，要吃飯就隻有找當地土豪去要糧食。當地有個大地主叫劉日新，家裏有錢又有糧，補充團就決定讓他出點糧食。當時就派了補充團下麵一個營長，去找劉日新籌錢籌糧，哪知劉日新是個要錢不要命的家夥，好說歹說就是一毛不拔。那個營長一氣之下，就讓手下把劉日新吊起來打了一頓。後來，劉日新還是給放回去了，但他覺得丟了麵子，感到自己受了天大的羞辱，一時想不開就自盡了。
劉日新一自殺，事情可就鬧大了。原來，劉日新媳婦的娘家人跟西北軍司令楊虎城是親戚關係。過了兩天，西北軍司令楊虎城就給蘇雨生來了密令，讓他逮捕劉誌丹，這樣，蘇雨生就把劉誌丹給抓起來了，要以“叛亂罪”判處他死刑。這一下劉誌丹的麻煩就大了。當時高崗和劉誌丹的弟弟劉景範，都到彬縣監獄去看望劉誌丹，都認為劉誌丹這一次必死無疑。
這是劉誌丹生平第一次坐牢。他雖然被手鎖腳鐐身陷囹圄，仍然不忘黨的事業。他要那些來看望自己的同誌回去後，一定要轉告其他的同誌，不要擔心自己的生命安全，要繼續努力工作。他已經把自己的生死置之度外了。
這時，黨組織非常關心劉誌丹同誌的安危。他被捕後，陝西省委就多方想辦法積極營救。當時，中共陝西省委就派人找到了劉誌丹在榆林中學讀書時的校長杜斌丞想辦法。因為杜斌丞當時已經是國民黨陝西省政府的參議員，黨組織請他出麵營救劉誌丹；同時，黨組織又找到了時任陝西省國民黨政府秘書長的南漢宸，要他出麵營救。南漢宸是中共黨員，同楊虎城的私交也不錯。最後，在杜斌丞和南漢宸等人的斡旋下，楊虎城才不得不下令釋放了劉誌丹。
劉誌丹出獄後，陝西省委又指示他利用地方軍閥之間的矛盾，繼續從事他的兵運工作。兵運工作雖然危機四伏，但劉誌丹還是想出各種辦法打入軍閥內部，發展自己的革命武裝。
1931年7月，劉誌丹出獄後，根據陝西省委指示繼續從事兵運工作。8月中旬，謝子長、高崗由西安經平涼來南梁，傳達上級指示，命令劉誌丹和謝子長二人利用地方軍閥之間的矛盾，再次打入陳國璋部發展武裝力量。不久，劉誌丹就利用“拜把子”的方式，再次打進了平涼國民黨暫編13師陳國璋部。