家破人亡的慘痛，深深地影響著朱元璋的心境，使他仿佛跌進了無底深淵。這時，為了活命，朱元璋與他的二哥、大嫂和侄兒被迫分開，各自逃生。朱元璋實在走投無路之下，想起幼時曾經許願舍身的皇覺寺，於是就去投奔了高彬和尚，在寺裏剃度為僧，做了小行童。他在寺裏每日掃地、上香、打鍾擊鼓、燒飯洗衣，整天忙得團團轉，有時仍會受到老和尚的斥責。日子一長，朱元璋憋了一肚子氣。一天，他掃地，被伽藍神座絆了一下，於是他就順手打了伽藍神幾掃帚。
還有一次，老和尚見大殿上的蠟燭讓老鼠咬壞了，就當眾訓斥了朱元璋。朱元璋心想，伽藍神連自己麵前的東西都管不住，還怎麼管殿宇？更害得自己受罵，越想越氣。於是，朱元璋就找管筆，在伽藍神的背後寫了“發配三千裏”幾個字。這些都反映了朱元璋不甘於受壓迫的性格。
可是，朱元璋做行童不久，寺裏的糧食不夠和尚們吃了，寺裏也得不到施舍，主持高彬法師隻好罷粥散僧，打發和尚們雲遊化緣。這樣，朱元璋才做五十天行童，而且還不會念經、做佛事，但是沒有辦法，也隻好扮成和尚的樣子，離開寺院托缽流浪。這時朱元璋年僅17歲。
朱元璋邊走邊乞討，他聽人說哪裏年景好就往哪裏走，他從濠州向南到了合肥，然後折向西進入河南，到了固始、信陽，又往北走到汝州、陳州等地，東經鹿邑、亳州，於1347年又回到了皇覺寺。在這流浪的三年中，他走遍了淮西的名都大邑，接觸了各地的風土人情，見了世麵，開闊了眼界，積累了社會生活經驗。艱苦的流浪生活鑄就了朱元璋堅毅、果敢的性格，但也使他變得殘忍、猜忌。這段生活對朱元璋的一生產生了深遠的影響。
朱元璋在外雲遊的三年，也正是元末農民起義風起雲湧的時期。社會上廣泛流傳著“明王出世，普度眾生”的說法，北方的白蓮教也在進行同樣的宣傳。朱元璋在流浪中，也接觸到這樣的宣傳，他目睹國是日非、人民生活惡化的現狀，意識到天下大亂很快就會來臨了。於是在回到皇覺寺後，朱元璋發奮勤學，廣交朋友，準備幹出一番事業來。
1351年，白蓮教首領韓山童、劉福通在穎州（今安徽阜陽）發動起義，並推韓山童為明王。同年八月，彭瑩玉、徐壽輝在蘄水（今湖北浠水）起義。這些起義者用紅巾裹頭，故稱紅巾軍。1352年，郭子興和孫德崖在濠州起義。
朱元璋聞聽起義的消息，不由心想，老在寺院裏，隨時可能被元官軍抓走，性命難保。正在此時，朱元璋收到兒時夥伴湯和的信，湯和在信中邀請朱元璋參加郭子興的義軍。恰在此時，朱元璋的師兄秘密告訴他，說有人知道此信，要去告密。於是，朱元璋放下缽盂，趕緊去投奔郭子興的紅巾軍。這一年，朱元璋25歲。
朱元璋入伍後，因為他作戰勇敢，而且機智靈活、粗通文墨，很快得到郭子興的賞識，於是郭子興就把朱元璋調到帥府當差，任命為親兵九夫長。朱元璋精明能幹，處事得當，打仗時身先士卒，獲得的戰利品全部都上交郭子興元帥，得了賞賜，又說功勞是大家的，就把賞賜分給大家。
不久，朱元璋在部隊中的好名聲傳播開來。郭子興也把他視作心腹知己，有重要事情總是和朱元璋商量。當時郭子興有一養女，是其至交馬公的女兒。馬公死後，他最小的女兒便由郭子興收養。此時，郭子興見朱元璋是個人才，對自己的事業將會有很大的幫助。於是便把21歲的養女馬氏嫁給了朱元璋，從此軍中改稱他為朱公子。有了身份，便不能再用從前的小名重八了，於是就另起了正式名字元璋，字國瑞。
當時，在濠州城中，紅巾軍有五個元帥。郭子興一派，孫德崖與其他三個元帥一派，兩派之間矛盾重重。這年九月，徐州紅巾軍主將芝麻李被元軍殺害，其部將彭大和趙均用率兵到了濠州，彭大與郭子興交好，而孫德崖等人則拉攏趙均用。在孫德崖的鼓動挑撥下，趙均用綁架了郭子興，並將郭子興弄到孫家毒打一頓，準備殺掉郭子興。朱元璋聞訊後，在彭大的支持下，率兵救回了郭子興。從此，兩派結怨更深了。
朱元璋見濠州城諸將爭權奪利，矛盾重重，決心依靠自己的力量，開創新局麵。至正十五年（公元1355年）六月中旬，朱元璋回鄉募兵，少年時的夥伴徐達、周德興、郭英等和同村鄰鄉的熟人聽說朱元璋做了紅巾軍的頭目，紛紛前來投效。於是朱元璋很快就募兵七百多人，回到濠州，郭子興十分高興，就提升朱元璋做了鎮撫。