至正十一年（公元1351年），劉福通在穎州（今安徽阜陽）起義。江淮各地紛紛響應。濠州定遠（今安徽定遠）有位地主叫郭子興，他信奉白蓮教，並加入了白蓮教會。接到劉福通起義的指令，他散發家財，與農民孫德崖等率眾起義，於次年攻克濠州（今安徽鳳陽東北）。起義者用紅巾裹頭，被稱為紅巾軍，一時聲勢浩大。這時，朱元璋兒時的朋友湯和來信，邀請朱元璋一同去參加郭子興的義軍。朱元璋本來還有些猶豫，但師兄告訴他，此信泄密了，有人正要去官府告他。一聽這話，朱元璋放下盂缽就投奔郭子興而去。
朱元璋開始作步卒，後調作郭子興的親兵。因粗通文墨，在農民軍中就很突出了，不久就成了親兵的九夫長。朱元璋打仗身先士卒，得了賞賜分給大家，在部隊贏得了好名聲。郭子興也把他視作心腹知己，將養女馬氏嫁給了朱元璋，還給他起名元璋，字國瑞。有了這個地位之後，他回家鄉募兵，少時朋友徐達等都來參軍，得七百人，郭子興就升他為鎮撫。
不久，朱元璋發現在濠州城內無法成大事，因為掣肘的事太多。城中紅巾軍有元帥五人，郭子興為一派，其他四人為一派。朱元璋感到與這些人在一起難成大事，便要求去定遠發展。為了不讓郭子興對自己有疑心，他將所部七百餘人全交給郭子興，隻要求帶徐達、湯和等二十四人去開辟新根據地。郭子興同意了。
朱元璋在進軍定遠途中，先招撫了張家堡驢牌寨民兵三千人，後又招降了豁鼻子秦把頭的八百人。有了近四千人的隊伍，他夜襲攻破定遠橫澗山山寨，受元軍驅使的山大王繆大亨投降。朱元璋從七萬降眾中挑選了精壯漢二萬人編入了自己的隊伍，並南下滁州（今安徽滁州市）。由此，朱元璋有了自己獨立的武裝。
進軍滁州途中，定遠人李善長求見。朱元璋問他，四方戰火何時能平息。”《明史·卷一二七·李善長傳》說，李善長侃侃而談：“秦亂，漢高起布衣，知人善任，不嗜殺人，五載而成帝業。今元綱既紊，天下土崩瓦解。公濠產，距沛不遠，山川王氣，公當受之。法其所為，天下不足定也。”他的意思說，朱元璋雖為布衣，也可效法於近似布衣的漢高祖劉邦。他說朱元璋出生地與劉邦的故鄉沛縣（今江蘇省沛縣）不遠，一脈相承，隻要按劉邦的做法去做，一定成為皇帝。聽了這話，朱元璋有了稱帝的雄心。李善長也從此成了朱元璋重要的謀臣。
至正十四年（公元1354年）秋，朱元璋攻下滁州。郭子興率軍一萬從泗州（今江蘇淮安市盱眙縣）前來會合。至正十五年（公元1355年）正月，朱元璋讓湯和率軍一支攻和州（今安徽和縣）得手，郭子興就命朱元璋管理和州。同年三月，郭子興病近，劉福通在亳州（今安徽亳州）建立韓宋帝國，立白蓮教故教主韓山童的兒子韓林兒稱帝，稱小明王，自稱宰相。他任命郭子興的兒子郭天敘為都元帥，郭子興的妻弟張天佑為右副元帥，朱元璋為左副元帥。
一生三個關鍵點
和州在長江北岸。要發展就要打過長江去，占據江南富庶之地。李善長提議要打過長江去。更聰明的是，他事先準備好禁止士兵燒殺擄掠的榜文。這時恰有巢湖水軍頭目俞通海來投誠，朱元璋收編其水軍得船千艘。同年六月，紅巾軍戰船駛向江南。先攻取牛渚（在今安徽省當塗縣西北）、采石（今安徽馬鞍山市西南），太平（今安徽當塗），至八九月間，紅巾軍包圍了江南重鎮集慶（今南京）。紅巾軍對元守軍發起攻擊，但沒有成功，都元帥郭天敘和右副元帥張天佑均戰死。朱元璋成了這支紅巾軍最高指揮官。第二年三月，朱元璋親率大軍，再攻集慶，他從太平水陸並進展開攻擊，於三月初十破集慶城，第二天改集慶路為應天府。這時李善長張貼了布告，禁止將士殺戮，安定了民心。由此朱元璋軍隊養成了一個習慣，破城之後不殺戮，此舉深得民心。
占據了應天府的朱元璋麵臨一個更廣寬的天地。
朱元璋一生的成功經曆過三個關鍵點：一是離開江淮，渡江攻占集慶。由此他開辟江南富庶的根據地，建立了稱雄的基礎。之後他采用儒士朱升“高築牆，廣積糧，緩稱王”之計經營好了他的根據地。他率將士十萬克婺州（今金華），俘元將帖木烈思等，設浙東行省。至正十九年（公元1359年），他分兵攻取池州（今安徽貴池）、諸暨（今屬浙江）、處州（今麗水）等地，遂西與長江中遊漢政權陳友諒轄區相鄰。
現在他就麵臨著一生中的第二個關鍵點：如何消滅張士誠和陳友諒。全國當時基本態勢是，長江上遊為陳友諒，中遊為朱元璋，下遊為張士誠，朱元璋夾在中間。
張士誠，小字九四，元末泰州白駒場（今江蘇鹽城市大豐西南白駒）人。從小他就在當地鹽場做幫閑記賬一類雜差。鹽鐵當時都是官營的，他頗能損公肥私。他憑關係讓三個弟弟幹上操舟運鹽的營生，順便還走私販鹽。由於私鹽利潤豐厚，他手中就很寬裕。有了錢的張士誠輕財好施，為人寬厚，禮待讀書人，在當地很有人緣。本來日子就可以這樣過下去了，但鹽場一個弓手（相當於現在的保安）丘義沒事就辱罵張士誠兄弟，惹得張氏兄弟十分惱怒。元順帝至正十三年（公元1353年）年夏天，張士誠和他三個弟弟以及鹽工李伯升等十八人，衝進鹽場守備室，把弓手丘義亂刀剁死，然後懷著仇富心理，又放火燒掉不少大宅院。當時鹽場工受元朝壓迫生活極其艱辛，見有人挑頭起事，紛紛加入。眾人共推張士誠為主，聚起百人，湧入了泰州。接著，他破興化後占領重鎮高郵。張士誠便自稱“誠王”，國號“大周”。