1935年1月中旬率部先後占領湄潭、綏陽等縣城，並向烏江下遊思南警戒，保衛遵義會議順利召開。遵義會議後，率部配合主力在赤水河地域尋求擺脫追敵的方向與戰機。曆時約2個半月。2月初中央紅軍進入紮西地域。中央政治局在紮西召開會議，決定常委分工，由洛甫接替博古在黨內負總責，通過了遵義會議決議等。3月28日朱德令紅九軍團留在黔北佯裝主力，掩護主力紅軍南渡烏江。次日，羅炳輝率部在幹溪出發，向馬鬃嶺分兵。完成任務後，因故被隔斷在烏江北岸。此後，羅炳輝率部單獨行動。先後取得老木孔伏擊戰、智取瓢兒井、貓場脫險等勝利。經貴州盤縣的江上進入雲南平彝縣（今富源縣），占板橋，圍宣威，取會澤，經樹桔渡（今東川市境內），渡過金沙江，掩護中央紅星縱隊在皎平渡過金沙江，擺脫了尾追的敵軍。至5月21日在四川西昌，九軍團與紅一方麵軍主力會合，單獨行動50餘日方告結束。被周恩來譽為“戰略騎兵”。5月繼續掩護中共中央和中央紅軍主力北上。其後羅炳輝遵朱德、毛澤東、周恩來“萬萬火急電”抱病翻越二郎山，於6月7日襲占天全，為紅軍繼續長征北上打通了道路，使紅軍擺脫了危局。接著，率部翻越了夾金山、夢筆山、長板山、打鼓山、拖羅崗（又名侖德山）五座大雪山。於7月初到達毛兒蓋，與四方麵軍會師。7月21日中共中央在蘆花（今黑水城）開會決定，會師後的紅軍混合編排行軍隊列，分左右兩路北上。紅九軍團改稱紅三十二軍，轄九十四、九十二兩個師，隨左路軍行動。由於張國燾堅持錯誤路線，致使紅三十二軍滯留川西。直至1936年6月下旬，賀龍在甘孜宣布中共中央決定，紅二方麵軍成立，轄二軍團、六軍團、三十二軍。三十二軍轉歸二方麵軍建製，羅炳輝及其三十二軍得以徹底脫離左路軍。
1936年7月率三十二軍擔任二方麵軍後衛，繼續長征北上。後第三次過草地，經過3個月艱苦的行軍，於10月22日勝利到達陝北，在將台堡與一方麵軍會師。11月紅三十二軍在洪德休整，所屬兩個師六個團整編為三個團，即二八○團、二八二團、二八六團。整編後羅炳輝率部參加山城堡戰役。
1937年1月率三十二軍駐陝西富平縣十八坊。新成立軍政委員會，羅炳輝任主席。2月下旬中央軍委組建“援西軍”，援助西路軍，劉伯承任司令員，羅炳輝任副司令員。部隊進至鎮原平涼地區時，因西路軍失敗，援西軍奉命停止前進。經多方努力，仍接回許多西路軍突圍出來的紅軍指戰員。4月到後抗日軍政大學學習。其間，楊厚珍與其離婚。9月羅炳輝與張明秀結婚。12月到八路軍武漢辦事處工作。以八路軍副參謀長名義開展統戰工作，直至1938年9月。
1938年9月從武漢八路軍辦事處回到延安，列席了中共中央六屆六中（擴大）全會。行前，中共南方局書記周恩來對羅炳輝說，中共中央同意派他到新四軍工作。11月六屆六中（擴大）全會結束後，羅炳輝從延安啟程赴新四軍報到。途中，在西安八路軍辦事處與從武漢八路軍辦事處撤返延安的妻子張明秀相遇。夫婦一同前往到新四軍工作。月底，抵達皖南涇縣雲嶺新四軍軍部，羅炳輝被任命為一支隊副司令員，司令員為陳毅。
1939年1月抵江蘇南部茅山地區，到新四軍第一支隊履職。此後數月協助陳毅司令員，帶領一支隊在茅山地區站穩了腳跟。4月底隨葉挺軍長到江北，抵安徽廬江縣東湯池。5月中旬新四軍江北指揮部成立。指揮張雲逸，政治部主任鄧子恢，參謀長賴傳珠。其後，徐海東、羅炳輝先後任副指揮。7月，新四軍第五支隊在津浦路西定遠縣藕塘鎮安子集成立，羅炳輝任支隊司令員、支隊黨委委員。該支隊不為國民黨政府當局所承認，鬥爭極為艱苦複雜。五支隊成立後，在羅炳輝帶領下，堅決實施東進計劃，向津浦路東挺進。先後三戰來安，挫敗了日軍和偽軍的囂張氣焰，粉碎了李晶仙、韓德勤部的挑釁。