在私塾學習了一段時間後，粟裕感覺這樣的學習方式比較乏味。當時，在粟裕的家鄉已經有了新式學校。這種新式學校是以孫中山為總統的中華民國臨時政府成立後，第一任教育總長蔡元培對教育製度進行重大改革倡導興辦的。中華民國臨時政府發布了政令，改革封建教育製度，實行國民教育，在課程的設置上，廢除了“四書”、“五經”，讓學生改讀白話文的《國語》讀本，並設了自然、曆史、地理、體育等課程。在這股教育改革洪流的推動下，粟裕的二叔粟周貞1905年在鄰村塘口廣積書院舊址辦起了第八國民學校，實行新學製。粟裕常跑到這所學校去看，覺得這種新式學校不僅學習內容好，學習方式也好，老師教得有趣，學生學得輕鬆，學生還可以唱歌、打球、做遊戲。粟裕便向父親提出轉到新式學校去讀書，但保守的父親硬是不同意。粟裕沒有辦法，隻好偷偷去。有一次，私塾先生在講台上授課，粟裕乘教書先生不備，悄悄帶著幾個同學上新學堂聽課去了。先生發現了，要處罰他們。粟裕挺身而出，對先生說：“這不關他們的事，是我帶他們去的，要罰就罰我一個人。”這樣鬧騰了幾次，父親沒有辦法，隻好答應粟裕的請求，將他轉到第八國民學校學習。雖然上學的路遠了不少，每天風裏來、雨裏去，寒冬臘月，耳朵、手和腳經常會凍得開裂，但粟裕沒有半句怨言，因為他在這裏接受的是新式教育，眼界也開闊了很多。
童年的粟裕，有一副扶貧濟困的俠義心腸。同學家中生活困難，他背著祖母與父親，從家中“偷”米周濟同學。父親要他到佃戶家收租，他看到佃戶交了租穀，全家就要斷糧，便給他們留下一些口糧，回到家卻向父親“謊報軍情”，說租穀收齊了。有一次，縣裏下發派繳農業稅的“還糧單”，當地的土豪劣紳趁機對老實的農民進行敲詐勒索，粟裕憤憤不平。當哥哥和一些進步青年組織起來打倒土豪劣紳時，粟裕也加入他們的行列，恨不能把土豪劣紳掃除幹淨。
1916年，蔡鍔的護國軍與北洋軍閥部隊在會同展開了一場激戰。北洋軍閥部隊潰退時，途經楓木樹腳村。粟裕一家躲在山上，親眼目睹了他們邊走邊搶，瘋狂掠奪老百姓財物的暴行。當時，粟裕隻有9歲，但這場劫難使他認識到，不鏟除這些禍國殃民的舊軍隊，老百姓就沒有好日子過。他立誌要做一名除暴安良劍俠的決心也更加堅定。
也就是在這一年，粟裕的祖父去世，父親三兄弟分家，自此家境開始衰落。粟裕一家8口，分得30畝地。全家的經濟來源全靠這些地，加之當時的生產效率低下，畝產很低，一年到頭往往入不敷出。
會同地處湘西，湘西自古出土匪。20世紀初，會同境內同樣土匪肆虐，他們燒殺搶掠，無惡不作，老百姓深以為患，苦不堪言。1918年，粟裕11歲，一天晚上，土匪侵擾楓木樹腳村一帶，綁架了粟裕堂叔的孩子，要他們拿銀元去贖。粟裕的父親粟亨周深感住在鄉下安全沒有保障，為了躲避匪患，第二天便舉家遷入會同縣城。為了防備土匪，他們在城裏修了一個“窨子屋”（地下室），一座兩層的木樓，裝備了厚厚的木板門，房子周圍還砌了高高的圍牆。修建新居欠下了100多塊銀元的債，粟家的生活更為拮據，常常隻能以酸辣子、漬幹菜伴飯吃。
童年的記憶是難忘和溫馨的。往事仿佛如昨，曆曆在目，粟裕晚年回憶起童年的生活時，仍深情地說：“我的童年早已隨著時光流逝了，但它曾帶給我歡樂，開啟我的心靈，對我的成長和獻身革命都是有關係的。”他特別懷念童年時代最好的朋友阿陀。他說：“幾十年來，阿陀的美好形象和名字一直印在我的腦海裏。我深深地懷念他，因為他對我的影響很深刻，可以說是我童年的啟蒙老師。”
四、會同城裏勇鬥“痞子兵”。十多歲的高小學生萌生了自己搞武裝、保護老百姓的念頭。
粟裕隨父母搬到縣城後，先後入粟氏私立初級國民學校和會同縣立第一高等小學讀書。縣立第一高等小學的前身是三江書院，創立於1666年，粟裕到這裏就讀時，這所學校已有250多年的曆史了。粟裕被編入高級部第12班，是高級部年齡最小的學生。高等小學提倡新學，開設了算術、博物、理化、國畫、手工等課程，這些課程使粟裕耳目一新。在這裏，他不僅學到了許多科學文化知識，還接受了民主革命思想。從課本中他知道了什麼是三民主義，初步懂得了要使民族獨立、國家富強，就必須擺脫帝國主義的宰割、奴役，鏟除封建軍閥的道理。他學習成績優異，經常得到老師的誇讚，興趣也很廣泛，不僅愛好音樂，學會了唱歌、吹笛子、吹簫、吹口琴、彈月琴，而且酷愛體育運動，經常打球、跑步、做體操，身體鍛煉得很結實。
粟裕與勞動人民有著深厚的感情，在緊張的學習之餘，他利用一切機會更廣泛地接觸社會。家裏建房時，他和泥瓦匠混得很熟，經常幫他們一起幹活。到街上買日用雜貨，看到夥計忙不過來，他就熱情地走上去幫忙，夥計和老板都很喜歡他，誇他既聰明又能幹。他跟街上的裁縫師傅也交上了朋友，一有空就跑到縫紉店學裁縫技術，還把自己積攢下來的零花錢捐給店老板買縫紉機。正是在這樣的社會生活實踐中，粟裕學到的社會生活知識越來越多，與勞動人民的感情也越來越深。
會同城裏駐紮著湖南省第五守備區一個連的軍閥部隊，連長姓盧，平時神氣十足，縣太爺都得聽他的話，成了會同縣城的太上皇。盧連長手下有個班長，姓周，是個中士，大家都叫他周中士。周中士在城裏還有公館，他和他那個老婆都成了城裏了不起的大人物。盧連長和他手下的兵經常橫行霸道，在城裏調戲婦女，欺壓百姓。縣城的街道很窄，進城做小買賣的鄉下老百姓把糧食、瓜果、蔬菜、雞蛋、花生、香油擺在街道兩旁賣，本來就窄的街道越發顯得擁擠。但盧連長的部隊出來，常常排成四路縱隊，不顧街上人多路窄，總是旁若無人地橫衝直撞。進城做生意的鄉下老百姓隻要一聽到從街口傳來的粗暴叫嚷聲“讓開！讓開！”便立即變得驚恐萬狀，手忙腳亂。
“快！‘北洋軍’來了，快收攤子！”
但已經來不及了。那些“北洋軍”趾高氣揚，氣勢洶洶，一路腳踢槍挑。刹時，滿街雞飛狗跳，亂作一團。糧食、蔬菜撒滿街道，瓜果、油罐遍地翻滾……老百姓乞哀告憐，叫苦不迭，怨聲載道，背地裏都叫他們“痞子兵”。
粟裕和他的小夥伴們看到“北洋軍”經常欺侮老百姓，心中忿忿不平，商量著一定要想辦法懲治一下這幫“痞子兵”。一天，高等小學的學生放學回家，正好在街上與“痞子兵”相遇。粟裕悄悄地與同學們耳語了一陣，幾十名高小學生立即排成幾路縱隊，手挽著手朝前走，故意去衝撞那些“痞子兵”，為受辱受氣的老百姓出氣。“痞子兵”看到背著書包的娃娃撞他們，便破口大罵：“你們這群狗崽子，瞎了眼啦！”粟裕與小夥伴們也毫不示弱：“我們操練，你們為什麼擋路？”此後，粟裕他們這幫高小學生隻要在街上碰到“痞子兵”，就排著縱隊去撞他們，久而久之，雙方的仇越積越深。
不久，城隍廟廣場唱戲。那個年代，在一個小小縣城裏的廣場上看戲是沒有座位的，大家都站在廣場上享受戲曲帶來的歡樂。粟裕和同學們也跑去看戲，他們到廣場的時候，發現“痞子兵”也來了，“痞子兵”也發現了他們，雙方對視了一陣，氣氛陡然緊張了許多。
正在這時，“當、當、當”鑼聲響了，戲台上的帷幕徐徐拉開，戲開始了。那幫當兵的紛紛往前麵擠，站到了最前麵，他們個子高大，像人牆一樣擋住了粟裕他們的視線，這使粟裕他們非常惱火。而偏偏有個士兵還挑釁似地搬來一條長凳，搖頭晃腦地站在凳子上欣賞。粟裕他們一個個年少氣盛，血氣方剛，終於忍不住了，衝著那個站在凳子上的兵大聲喊道：“快下來，快下來！”
那個當兵的充耳不聞，還是站在凳上大模大樣地看戲。
這可把粟裕他們這幫小夥伴們激怒了。
“看你下來不下來！”幾個學生箭步衝上去，伸手把那個士兵拽了下來。
那個年代，“北洋軍”的士兵可不是好惹的。他們當然不肯善罷幹休，掄起長凳就打。學生們也不示弱，雙方扭成一團。頓時，整個廣場秩序大亂，戲也唱不下去了。這時，不知誰喊一聲：“土匪來了！”戴白邊大簷帽的保安隊慌慌張張朝天放了幾槍。人們嚇得四散亂跑。
“快走！”粟裕喊了一聲。
趁著混亂，粟裕帶領同學們一口氣跑回學校，回身把校門緊緊關上。這時，追來的“痞子兵”已把學校團團圍住。
湘西民風尚武，學校裏有軍事操練課，粟裕和同學們常常打著綁腿訓練。回到學校後，他們趕緊集合起來，手持木槍、匕首，守在校門內，任“痞子兵”怎樣敲門、怎樣叫喊，就是不開門。雙方僵持了好一陣，盧連長也聞訊趕來，知道事情的原委後，他怕事態擴大，就勸阻手下不要強行進校，先回去再說。“痞子兵”罵罵咧咧，極不情願地離開了學校。但事情並沒有了結。那些當兵的揚言：隻要見到粟裕他們高等小學的學生，就要打，就要抓，就要殺！
事隔不久，這群當兵的果然抓了一個高小的學生。“痞子兵”審問他：“你是不是高等小學的學生？”
那個學生見勢不妙，機靈地撒了個謊說：“不是。”
“痞子兵”見他穿得破舊，不像一個學生的模樣，就把他放了。回到高小後，那個學生把被抓的事一說，立即在全校引起了軒然大波，所有走讀生都不敢回家了，有些學生擔心惹麻煩，離開會同縣到外地求學去了，全體學生一致罷課抗議。一些老師支持學生們的行動，鼓勵他們堅持鬥爭。粟裕和同學們用木槍木棒裝備起來操練，隨時準備對付“痞子兵”的襲擊。
學潮越鬧越大，最後縣長出麵調停，“痞子兵”才答應不抓、不打、不殺高等小學的學生，學生們也答應複課。一場風波總算平息下來。
經過這場鬥爭，粟裕產生了自己搞武裝的念頭，他對一個玩得好的同學說：“我要到外麵闖一闖，搞支保護老百姓的好隊伍，帶回來好好找這些作威作福的軍閥算賬！”
由立誌做一名除暴安良的劍俠，到想搞一支保護老百姓的好隊伍，少年粟裕的思想產生了一次飛躍，這也為他日後參加武裝奪取政權的革命鬥爭奠定了堅實的思想基礎。