但宋哲元並不知道，這時候的習仲勳，已經在自己的監獄裏成了一名中共黨員。出獄後，習仲勳就被中共陝西省委派往西北軍從事兵運工作。1932年，習仲勳所在的部隊開赴陝甘交界處的兩當縣時，中共陝西省委認為時機已經成熟，就指示19歲的習仲勳發動兵變，命令他暴動了以後，就把兵變的隊伍拉往陝北，跟劉誌丹會合。
這支由年輕人領導的革命隊伍，從一開始就陷入敵人的重圍之中。習仲勳發動兵變後，就率領部隊邊打邊走，一路突圍，後來終因彈盡糧絕，隊伍被打散了。甘肅兩當兵變失敗後，習仲勳隻好趕赴照金根據地，他在那裏才見到了劉誌丹。
因為兵變失敗，犧牲了很多人，年輕的習仲勳當時心裏非常難過。見到劉誌丹後，他就難過地說，看那麼多同誌犧牲了，內心感到很愧疚。劉誌丹一聽，就開導他說，“失敗是成功之母。你這才失敗一次算啥？我都失敗過好多回了，大大小小差不多都七十多回了。”
習仲勳後來在文章中回憶說：在傳說中，有人常把劉誌丹描繪成一個神奇的人物，但是初次見麵，我得到的印象是他完全像個普通戰士。他樸直無華，平易近人，常和戰士們坐在一起抽旱煙，談笑風生，不擺半點領導的架子，同誌們都親切地叫他“老劉”。
在兵運工作屢屢受挫的情況下，劉誌丹等人從實踐中逐步悟出了一個道理，他說：“利用軍閥是暫時的，無產階級應該也隻能依靠自己的力量創造條件，搞革命的武裝。”後來他曾沉痛地總結說，陝甘地區先後舉行過大小七十多次兵變，都失敗了，最根本的原因就是“軍事運動沒有同農民運動結合起來，沒有建立革命根據地”。
1931年9月，劉誌丹和馬錫五來到了甘肅的南梁，又將分散活動於合水、慶陽山區的趙連璧、楊培盛、賈生財的三支民間武裝集合起來，在太白倒水灣進行整編，然後拉到南梁，終於建立起了陝甘邊地區由共產黨獨立領導的第一支工農革命武裝——南梁遊擊隊。劉誌丹任總指揮，馬錫五任軍需官。直到這時，劉誌丹轟轟烈烈的兵運生涯才算告一個段落。劉誌丹帶著這支南梁遊擊隊連夜進入子午嶺山區，讓馬錫五帶領趙連璧等人整頓部隊，進行軍事訓練，自己又到保安縣和南梁一帶進行革命活動。
南梁遊擊隊建立起來後，劉誌丹認真總結以往開展兵運工作的經驗教訓，堅持以南梁為中心，依托橋山山脈開展遊擊戰爭，進一步擴大南梁革命根據地。劉誌丹特別重視對部隊幹部、戰士的教育工作，和當地的群眾搞好關係，同時又經常組織小股部隊到南梁周邊一帶進行革命活動，組織當地的老百姓打土豪、分糧食，解決部隊給養，減輕群眾負擔。
1931年10月，南梁遊擊隊剛剛成立不久就首戰告捷，在二將川消滅了軍閥張廷芝的一個騎兵連，擊潰了合水民團的進攻。這次勝利，讓南梁遊擊隊一時名聲大振，也讓當地的老百姓揚眉吐氣，使革命鬥爭形勢迅速發展，南梁根據地的地盤也越來越大。
南梁遊擊隊的建立，對周邊的革命鬥爭產生了很大的影響。在這時，有一支革命武裝來到南梁，投奔劉誌丹的部隊來了。這支隊伍就是山西省的一支革命武裝，當時叫“晉西遊擊隊”。
晉西遊擊隊是由黃子文和拓克寬在山西創辦的，他們在山西遭到了閻錫山部隊的重兵圍剿，就渡過黃河到陝北來尋找劉誌丹的隊伍。