當時李二的餘黨趙均用、彭早住前來投奔郭子興，這幫人狂暴驕橫，喧賓奪主。朱元璋認為郭子興懦弱，不足以共謀大事，於是率著同鄉徐達、湯和等人向南攻占定遠，用計收降了驢牌寨的民兵三千人。又繼續向東進發，在橫岡山夜襲張知院，收降了三萬人馬。接著又遇到定遠人李善長，二人談得非常投機，朱元璋任用他為謀士，進兵攻陷滁州。不久朱元璋聽說郭子興被趙均用圍困，於是設計救出郭子興，把他迎進滁州。又派大將張天佑攻陷了和州，郭子興隨即派朱元璋前往和州鎮守，總管各路人馬。
後來郭子興病逝，兒子郭天敘繼承父業。不久郭天敘收到劉福通的書信，封他為都元帥，張天佑和朱元璋為左右副元帥。朱元璋本不打算接受，不過想到偽宋主韓林兒氣焰正盛，暫時可以作為倚靠，於是就用他的龍鳳年號，號令軍中。忽然聽說懷遠人常遇春前來歸降，朱元璋連忙將他請進來，隻見他相貌堂堂，威風凜凜，立即任命為帳下總兵。接著又有巢湖大帥寫來書信，說願意率領水師戰船千艘前來投奔。朱元璋看完書信高興地說：“我正擔心沒有船隻渡江，現在巢湖大帥廖永忠、俞通海等人願意前來歸順，真是天要助我成功啊！”
朱元璋帶兵到巢湖，和廖永忠、俞通海等人相見，彼此以誠相待，相處得很融洽。留住三天後朱元璋下令揚帆出發，到了銅城閘，正好遇上元中丞蠻子海牙帶領的軍隊，他們守住要塞使得船隻不能通過。恰好天降大雨，河水大漲，戰船從小港通過，襲擊元兵，一鼓退敵，繼而順風直達牛渚。牛渚的南岸有個地方叫采石磯，向來稱為要隘，和牛渚互為犄角，兩岸都有元兵駐紮，刀槍林立，壁壘森嚴。
朱元璋下令先進攻牛渚，再進攻采石磯，眾將應聲而出，猛攻牛渚。元兵也一齊來抵禦，無奈朱元璋的士兵異常勇猛，元兵節節敗退。常遇春手持長矛徒步向前，殺死元兵無數，元兵紛紛逃走。攻下牛渚後，朱元璋又下令向采石磯發起進攻。采石磯高出水麵有一丈多，眾將士乘船進攻，都被弓箭和石頭擊退。常遇春左手拿盾，右手持矛，縱身一躍跳上采石磯，刺死守磯的頭目老星卜喇，率先殺入。眾將士見常遇春登上了采石磯，也一擁而上，霎時間攻破了采石磯，把元兵一掃而光，然後乘勝進攻太平，元總管靳義落水而死。眾將迎接朱元璋進城，在城內設太平興國翼元帥府。召當塗人陶安參議政務，封大儒李習為知府，出榜安民，嚴申軍令，民心大悅。
休息了幾個月，朱元璋又率兵進攻集慶，連破元將大營，直逼集慶城下。元將福壽是江南行台禦史大夫，奉命把守集慶路，多次帶兵出戰，都沒有獲勝。不久集慶城被攻陷，百官潰逃，隻有福壽堅持到最後，在床上高坐，被亂軍所殺。
朱元璋進城，撫慰軍民，改集慶路為應天府，自稱吳國公。同時四麵出兵，分攻鄰近的郡縣，鎮江、廣德等地相繼被攻下。
此時的劉福通招集了不少亡命之徒，氣焰日益高漲，分兵攻城略地。派毛貴出山東，李武、崔德出陝西，關先生、破頭潘、馮長舅、沙劉二、王士誠出晉、冀，白不信、大刀敖、李喜喜出秦隴，自己在河南居中調度，統領各路人馬。毛貴智勇雙全，率眾向東進攻，接連攻陷膠州、萊州、益都、般陽等郡縣。濟南路連連告急，順帝派遣知樞密院事卜蘭奚，率同董搏霄等人日夜兼程趕往救援。
援軍出發後，禦史張楨上奏順帝，提出當時朝中的十種禍患，句句懇切，字字蒼涼，可以說是元末的大手筆。奏章上說根本上的禍端有六條：一是輕慢大臣，二是權力分散，三是貪圖安逸，四是堵塞言路，五是人心背離，六是濫施刑罰。軍事上的失誤也有四條：一是不善調度，二是不采納群策，三是賞罰不明，四是挑選將帥不當。他又逐條分析，每條有數百句的解釋，非常詳盡。略錄如下：
臣伏見陛下以盛年入纂大統，履艱難而登大寶；因循治安，不預防慮，寬仁恭儉，漸不如初。今天下可謂多事矣，海內可謂不寧矣，天道可謂變常矣，民情可謂難保矣，是陛下警省之時，戰兢惕厲之日也。陛下宜臥薪嚐膽，奮發悔過，思祖宗創業之難，而今日墜亡之易，於是而修實德，則可以答天意；推至誠，至可以回人心。凡土木之勞，聲色之好，宴安鴆毒之戒，皆宜痛撤勇改，有不盡者，亦宜防微杜漸，而禁於未然。黜宮女，節浮費，畏天恤人，而陛下乃安焉處之，如天下太平無事，此所謂根本之禍也。以上言事安逸。臣又見調兵六年，初無紀律之法，又無激勸之宜，將帥因敗為功，指虛為實，大小相謾，上下相依，其性情不一，而邀功求賞則同。是以有覆軍之將，殘民之將，怯懦之將，貪惏之將，曾無懲戒；所經之處，雞犬一空，貨財俱盡，及其麵諛遊說，反以克複受賞。今克複之地，悉為荒墟，河南提封三千餘裏，郡縣星羅棋布，歲輸錢穀數百萬計，而今所存者，封邱、延津、登封、偃師三四縣而已；兩淮之北，大河之南，所在蕭條。夫有土有人有財，然後可望軍旅不乏，饋餉不竭。今寇敵已至之境，固不忍言，未至之處，尤可寒心，即使天雨粟，地湧金，朝夕存亡，且不能保，況以地方有限之費，供將帥無窮之欲哉！潁上之寇，始結白蓮，以佛法誘眾，終飾威權，以兵抗拒，視其所向，駸駸可畏，其勢不至於亡吾社稷，燼吾國家不已也。堂堂天朝，不思靖亂，而反階亂，其禍至慘，其毒至深，其關係至大，有識者為之扼腕，有誌者為之痛心，此征討之禍也。