回到照金後，劉誌丹一邊進行重建工作，一邊認真總結紅26軍南下失敗的教訓。他對習仲勳說：“這次我們又上了機會主義的大當，又吃了一次大虧！”當習仲勳向他彙報了陳家坡會議的情況後，劉誌丹興奮地說：“這就好了！陳家坡會議總算清算了‘左’傾錯誤，回到正確路線上來了。現在需要把部隊集中起來，統一領導，統一指揮。我們重新幹起來，前途一定是光明的。”
由於紅軍集中指揮，運用靈活的鬥爭策略，很快就取得了一係列勝利。紅軍的勝利，使國民黨陝西當局十分驚慌，急調四個正規團和三原、耀縣、淳化等6個縣民團共6000餘人，發起對照金根據地的進攻。紅軍臨時總指揮部分析敵情，認為敵人“進剿”兵力較大，不宜在狹小的根據地內與其周旋，要粉碎進攻，必須轉移到外線作戰，深入敵後打擊敵人。於是決定留遊擊隊堅持內線鬥爭，主力紅軍北上。10月12日，劉誌丹和王泰吉率紅軍北上。主力紅軍北上後，在叛徒陳克敏的帶領下，楊虎城部特務團攻克薛家寨，照金蘇區陷落。18日，主力紅軍在遊擊隊的配合下，一舉攻克敵人守備薄弱的甘肅合水縣城，斃俘200餘人。
10月下旬，劉誌丹、王泰吉率主力紅軍在慶陽三十裏鋪消滅了當地民團，接著在合水毛家溝門，擊潰國民黨軍趙文治部，殲敵200餘人。三戰三捷，重挫了敵人的銳氣，大振了紅軍聲威。此後，部隊繼續在合水、慶陽一帶遊擊，接連獲得勝利。
11月上旬，中共陝甘邊特委和陝甘邊區紅軍臨時總指揮部，在合水包家寨召開聯席會議，根據劉誌丹的建議，總結了以往武裝鬥爭的經驗，並討論了部隊改編、根據地建設和行動方針等問題，決定撤銷陝甘邊紅軍臨時總指揮部，恢複中國工農紅軍第26軍，先成立紅42師，王泰吉任師長，劉誌丹任參謀長，高崗任政委，黃子文任政治部主任。42師下轄第三團和騎兵團，全師人槍500餘。並決定建立師黨委，書記楊森。會議鑒於紅軍暫時撤離照金根據地，部隊在無後方的情況下，連續作戰十分不利，為堅持和發展革命武裝，決定開辟以南梁為中心的新的革命根據地，同時建立三路遊擊區，成立第一、二、三路遊擊總指揮部（第一路以安定為中心；第二路以南梁為中心；第三路以照金為中心），紅26軍居中策應。
南梁位於陝甘兩省交界處慶陽境內，地處橋山山脈中段大梁山麓，方圓百餘裏，境內山巒起伏，森林茂密，溝壑縱橫，地形複雜，便於開展遊擊戰爭。同時，這一帶也是劉誌丹、謝子長早期從事兵運活動的地方，群眾基礎很好。境內之敵多為小股地主武裝，戰鬥力較弱，有著開展遊擊戰爭、建立根據地的有利條件。會後，劉誌丹和王泰吉為完成建立以南梁中心的陝甘邊根據地的計劃，分兵兩路積極掃蕩反動民團。
11月中旬，紅42師揮師南下，在宜君楊家店子殲滅國民黨86師511團一個連，擊斃連長李文傑。下旬消滅了荔園堡張廷芝部新兵營60餘人，擊斃營長梁邦棟，接著又在二將川消滅了趙富奎民團。12月中旬，紅3團和騎兵團再次南下，占領正寧南邑後溝，收繳了民團部分槍支。此次行動為建立南梁根據地打下初步基礎。隨後，部隊利用戰鬥空隙，分兵發動群眾，以連為單位，分別到平正川、太白川、白馬廟川、二將川一帶，打土豪分糧食，在南梁附近農村相繼建立起農會組織，並建立了1000餘人的赤衛隊。
1934年1月上旬，紅42師返回合水連家砭。因王泰吉請求去豫陝邊做兵運工作，師黨委決定劉誌丹任師長，楊森任政委。2月25日，新的陝甘邊區革命委員會成立。紅軍和根據地的迅速發展，引起了國民黨當局的極大震驚。陝甘邊革命根據地的中心區域轉移到南梁地區後，國民黨對陝甘邊根據地的“圍剿”重點也由南向北轉移，多次發動對南梁蘇區的進攻。