劉百川少時師從塾師高鵬程學習經史，從而奠定了紮實的文學基礎。當時家境貧困，春荒時三餐不周，仍一心向學。1918年16歲時，他入薛小圩教蒙館，次年入阜寧縣立第一高等小學。因長於作文，組織同學出牆刊，為校長餞亦耕所讚許。1921年，高小未畢業即考入省立第八師範學校，且成為文史組的高才生。他與同學倡組“丙寅學社”，研究新文學，創辦《文學周刊》，帶頭寫稿，被同學稱為“文豪”。國文教師吳鐵秋著《蒼梧片影》，以劉百川遊雲台山日記多篇附於書後。劉百川在附小主事兼師範教師謝鳴九的指導下，以聽課筆記為基礎，寫成《小學教學法通論》。他將其投寄上海商務印書館，當即出版發行，獲稿費80銀元。消息傳來，全校為之震驚，傳為美談。
劉百川在徐州期間加入中國共產黨。1927年“四·一二”政變後，他在淮陰中學實小任教，同時任阜寧縣教育局課主任兼縣立師範教員，1929年出任江蘇省東海中學實驗小學教導主任，1931年出任揚州中學實驗小學教導主任。
1933年後，劉百川在江蘇教育廳任職，1935年任鎮江大港鄉村教育實驗區主任。在此期間，他與同人組織了“中國教育研究社”，為該書刊寫了“叢書編輯緣起”，又親自主編一套《實際的小學教育叢書》，並為該書寫了“編輯旨趣”。在大港期間，他還主編了《中央日報》教育副刊。在20世紀30年代中國教育工作者投身的鄉村教育中，他在鎮江大港的鄉村教育實驗區最出名。抗戰伊始，劉百川先後在四川大學、華西大學、金陵大學任副教授、教授，時年38歲。抗戰勝利後，他於1946年去江蘇省教育廳工作，1947年因“共嫌”辭去職務去無錫江蘇教育學院任教授。解放後，劉百川先後任蘇南文化教育學院教授、工農教育係主任。1952年華東院係調整後，他任江蘇師範學院教授、教育係主任。1956年受江蘇省人民政府的委任到無錫組建江蘇省中學師資訓練班並任副主任兼教務長。解放初期他積極接受共產黨的思想改造，奮發努力工作。
劉百川後半生身處逆境，尤其是文革期間更不免慘遭迫害，但他潛心研究，著書立說，筆耕不輟，以“教學不已，闔棺乃止”為銘書寫了自己的人生。
1937年夏，全麵抗戰開始。劉百川在大港淪陷前率20多位同事，高舉“江蘇大港鄉村教育實驗區戰時教育工作團”大旗，渡江北上，步行20天到達徐州。沿途宣傳日軍暴行，喚起民眾殺敵。在徐州緊束行裝，擠上隴海火車，於1938年元旦抵達西安。
劉百川在西安領導同仁參加抗敵後援會的活動，如查禁日貨，打擊奸商，編寫宣傳材料，到街頭宣傳、演唱。同時他還為一些中小學代課。每日，劉百川領唱自作的晨歌：“鴉雀噪，日初起，一切每從清晨開始。今天的工作要切實做好，抗日的鬥誌要堅持到底……”不久，他們參加了教育部主辦的戰區中小學教師甘肅服務團。1938年3月，從西安乘火車到虢鎮（當時隴海鐵路終點），步行到天水，駐泰山廟。劉百川被任命為該團主任委員。團員們在天水、武山、甘穀、秦安、徽縣、成縣等地，到街頭宣傳，到中小學代課，到部隊教歌，辦群眾閱覽室，還在天水辦“七七小學”。團員來自各省，思想複雜，左右兩派明爭暗鬥，天水支部，尤為激烈，劉百川巧為周旋，苦心維持。