無奈之下，馮氏夫婦痛下決心，戒除鴉片。馮玉祥回憶道：“戒鴉片煙的苦痛，我真看夠了。開始戒的一兩天，父母筋骨都感到疼痛，臥在炕上，像害了霍亂病一樣，呻吟嘔吐，不住地轉側翻騰。他們眼角裏含著淚，清鼻涕不斷地向外流，哈欠，寒噤，連續地發作。端起碗來呷一口水，兩手就顫抖的厲害。一直鬧了三四天，才能稍稍安靜一點，但也像生了一場大病似的衰弱不堪了。記得最厲害的時候，他們簡直瘋狂了一般，仰臥著也不合適，坐起來也不舒快，左翻右轉，怎麼樣也沒有是處。那種痛苦難熬的情狀，叫人看了不寒而栗！他們難受得無法可想，就橫臥在炕上，把腿伸出來，令我同家兄兩個人每人拿一根捶布用的木棒槌，各按著一條腿去捶。捶半天，筋肉才覺得舒展一些，精神也能安定一些，這才勉強合上眼，睡一兩個鍾頭。從這裏，我就深知道鴉片煙的可怕，以後我看見鴉片煙就要發惱，比看見仇人還氣恨，從心裏起一種不可遏止的憎惡之感。”
大煙雖是戒了，馮玉祥母親的身體卻越來越差，不久即辭世。由於看病，料理喪事都是要用錢的，家裏早就一文不名了，沒辦法隻好將亡人葬到義地。馮玉祥一生常以此耿耿於懷。馮母一生養育了七個兒女，除了老大老二其餘都夭折了。
按說，軍官的兒子到了年齡就應該去讀書了，但是家裏實在拿不出這一項開支供養兩個兒子。馮有茂飽受不識字的痛苦，百計羅掘，先讓老大基道讀書。其實當時老師的束脩（即工資）一年才六吊京錢，拿到現在算也就幾百塊錢。
基道一共上了不到六年學，正好軍營裏有缺額，幸運的補上了一名騎兵。每月能關七兩二錢銀子，除去喂馬，還能剩下一點補貼家用。那一段時間正好沒有戰亂，而且社會上百業凋敝，普通窮百姓都把當兵視為一種不錯的職業，畢竟能按時關出餉來。
基道最後一年的書隻讀了九個月，而束脩是交了一年的，於是馮玉祥頂替哥哥去讀完剩下的三個月書。三個月期限一到，馮玉祥就失學了，於是每天到父親營裏，跟司書、師爺一類的人物學學認字。
馮有茂每月隻有十二兩銀子的薪餉，每每入不敷出，非常迫切想把二兒子也補上兵額。然而像他這種情形的人很多，所以一旦出了缺大家一般都是輪流補上自己的子弟。馮有茂人緣好，朋友多。一次苗開泰管帶的營裏出了一個缺額，別人都還不知道，苗管帶決定把這個名額給馮家老二。但一時間先不起來孩子的名字，有心派人去問，又怕一耽擱名額被別人搶了去，於是大筆一揮，寫下了“馮玉祥”三個字，從此馮基善就叫馮玉祥了，成為一名能關三兩六錢銀子的小兵了，不過用不著隨營訓練。這種現象在練軍中很普遍，叫做吃“恩餉”。
收入略寬裕些了，於是馮玉祥又開始讀書，一晃又是兩年。