1902年11月26日生於中國湖南省衡山縣寒水鄉南灣村（今屬衡東縣），原名慎琪。1910年入私塾，1916年夏高小畢業，又在家鄉讀了三年私塾。1919年起先後在長沙協均中學和青島大學讀書，曾參加反對軍閥和帝國主義的愛國活動。1926年秋在青島大學預科畢業後赴廣州，旋即回家鄉組織農民協會，進行反對土豪劣紳的鬥爭。1927年5月到武昌中山大學理學院讀書，加入中國共產主義青年團，任校支部組織幹事，不久轉入中國共產黨。同年7月被派往鄂南通城從事農民運動，參與組織通城、崇陽農民武裝，任黨代表。這支武裝在江西修水編入武昌國民革命軍第二方麵軍總指揮部警衛團，他任特務連黨代表，參加毛澤東發動領導的湘贛邊界秋收起義。起義部隊於9月20日集結在瀏陽縣文家市，羅榮桓在這裏第一次見到毛澤東。起義部隊後經三灣改編到井岡山。這一時期，羅榮桓曆任中國工農紅軍（初稱工農革命軍）第四軍的連、營、支隊黨代表。他作為紅軍第一批連隊黨代表之一，積極建立軍隊基層的共產黨組織，實行民主製度，尊重愛護士兵，反對軍閥作風，參與創建了人民軍隊的連隊政治工作，由此開始了人民軍隊政治工作的實踐。1929年底，參加中共第四軍第九次代表大會（古田會議），被選為第四軍前敵委員會委員。後任紅四軍第二縱隊政治委員。1930年8月，任第四軍政治委員。1932年3月，任第一軍團政治部主任。在第一至第四次反“圍剿”鬥爭中，領導部隊的政治工作，同時組織部隊發動群眾，打土豪，分田地，籌糧款，擴大紅軍隊伍。第四次反“圍剿”後，改任江西軍區政治部主任，總政治部巡視員、武裝動員部部長，曾兼任擴大紅軍突擊隊總隊長，領導擴紅工作。1934年1月，被選為中華蘇維埃共和國中央候補執行委員，獲紅星獎章。同年9月，任第八軍團政治部主任，長征中第八軍團撤銷，他先後任紅三軍團政治部代主任、總政治部巡視員、第一軍團政治部副主任。到陝北後，參加了東征戰役。1936年6月，入中國人民抗日紅軍大學學習，並兼任培訓高級幹部的第一科政治委員。1937年1月，任軍委後方政治部主任，7月任第一軍團政治部主任。
抗日戰爭初期，任八路軍第一一五師政治部主任。1937年9月，率師政治部和少數部隊，在晉冀邊界的阜平、曲陽、靈壽一帶發動群眾，組織抗日武裝，建立抗日民主政權。1938年到呂梁山地區，與代師長陳光指揮牛城、井溝和薛公嶺等戰鬥，保衛了黃河河防。同年秋，參加擴大的中共六屆六中全會，隨後任第一一五師政治委員。1939年3月初，與陳光率第一一五師師部和主力一部進入山東，參與指揮樊壩、梁山等戰鬥，重創日偽軍。他堅決執行中共中央關於在統一戰線中堅持獨立自主的原則，強調團結抗日的友軍和愛國進步人士，孤立和打擊製造摩擦的國民黨頑固派。他率領的第一一五師部隊，與山東人民抗日起義武裝組成的八路軍山東縱隊並肩作戰，先後在魯西、魯南、冀魯邊、魯中、濱海地區發動群眾，建立抗日民主政權，發展人民武裝，鞏固和擴大抗日根據地。1941年8月任山東軍政委員會書記。同年冬，日偽軍五萬餘人“掃蕩”魯中抗日根據地，中共中央山東分局和第一一五師師部等領導機關被日偽軍合圍於沂水留田一帶。他準確地分析敵情，掌握時機，出敵不意地率部向日軍占領區臨沂方向轉移，跳出敵人重圍。後又返回根據地中心地區，領導軍民堅持鬥爭，挫敗日軍在山東進行的規模最大的一次“掃蕩”。1943年3月，任山東軍區司令員兼政治委員，第一一五師政治委員、代師長，後任中共中央山東分局書記，統一領導山東抗日民主根據地的黨政軍工作。他重視黨的思想建設和組織建設，領導了整風運動。在抗日戰爭最艱難的歲月，領導山東軍民進行精兵簡政，實行主力部隊地方化，加強部隊基層建設，開展分散性、群眾性遊擊戰爭，針對日軍對根據地的“掃蕩”和“蠶食”，提出“敵人打過來，我們就打過去”的“翻邊戰術”，扭轉了山東抗日根據地的被動局麵。1944年開始組織一係列戰役，實行局部反攻，鞏固、發展了山東抗日根據地。1945年指揮部隊在山東進行大反攻，控製山東境內的津浦、膠濟、隴海鐵路，收複除濟南、青島少數城市之外的山東大部分地區。1945年6月，被選為中共第七屆中央委員。