這年冬天，彭大的兒子彭旱住自稱魯淮王，趙均用自稱永義王，而郭子興等仍是元帥。
朱元璋見這些人半年沒出濠州城，於是他從自己招募的新兵中挑選了心腹徐達、湯和等二十四人離開濠州，南略定遠。在南略定遠途中，朱元璋先招撫了張家堡驢牌寨民兵三千人，後又招降了豁鼻子秦把頭的八百人。統率著這支隊伍，朱元璋向東進發，乘夜攻破定遠橫澗山的元軍營地，元帥繆大亨投降。朱元璋從降軍中挑選了精壯漢人二萬人編入了自己的隊伍，並南下滁州（今安徽滁縣）。
在南下滁州途中，定遠名人李善長到軍門求見。李善長和朱元璋一見如故，李善長以漢高祖劉邦為例勸說朱元璋：隻要效法劉邦知人善任，不亂殺人，很快便可平定天下。朱元璋認為很有道理，於是留李善長做了幕府的書記，並囑咐李善長好好協調將領間的關係，共創大業。
朱元璋很快攻下了滁州，其親侄兒文正、姐夫李貞帶著外甥保兒（後來取名文忠）前來投靠。從他們口中，朱元璋得知二哥、三哥、姐姐都去世了，不免傷心。其時還有定遠孤兒沐英，甚是可憐，於是，朱元璋就將這三個孩子收作養子，改姓朱。後來，朱元璋又收養了二十幾個義子。
在朱元璋進攻滁州時，郭子興受到趙均用、孫德崖等人的排擠，所以，朱元璋攻下滁州城不多久，郭子興也來到了滁州。朱元璋立即交出兵權，三萬人的隊伍，紀律嚴明，軍容肅整，郭子興見了十分歡喜。
1353年，朱元璋任命虹縣（今安徽泗縣）人胡大海為前鋒，一舉攻克了和州。消息傳來，郭子興即刻任命朱元璋為總兵官，鎮守和州。一次，朱元璋外出，看到一個小孩在哭，朱元璋問他為什麼哭，答說是等父親。朱元璋仔細一詢問才知道，原來孩子的父親和母親都在軍營，父親在營中養馬，母親和父親不敢相認，隻好以兄妹相稱。朱元璋意識到，部隊軍紀存在問題，他們攻破城池後，擾民滋事，擄掠婦女，這樣下去，部隊將失去民心。於是，朱元璋召集眾將，申明紀律，下令歸還軍中有夫之婦，讓城中許多被拆散的夫妻團圓。此事廣為傳頌，朱元璋深得民心。
此年三月，郭子興病逝，小明王韓林兒任命郭子興的兒子郭天敘為都元帥，妻弟張天為右副元帥，朱元璋為左副元帥。名義上，都元帥是軍中之主，右副元帥的地位也比左副元帥高。但是滁州和和州的軍隊，多是由朱元璋招募收編的，而且朱元璋比郭天敘和張天有勇有謀，並且手下又有人才。所以，朱元璋事實上成了這支隊伍的主帥。
在朱元璋稱帝之前，所奉行的策略是朱升提出的“高築牆、廣積糧、緩稱王”。高築牆是指加強軍事防備，鞏固後方；廣積糧是指發展經濟生產，儲備糧食，增強經濟實力；緩稱王則是指不要過早稱帝，以免樹敵過多。這三條建議極具戰略眼光，是朱元璋發展初期的指導思想。
朱元璋在和州駐守幾個月後，糧食供應成了問題。與和州相對，緊靠長江南岸的太平（今安徽當塗）、蕪湖是盛產稻米的地方，但是沒有船隻，隻能望江興歎。這時恰好兩支紅巾軍的巢湖水軍前來歸附，朱元璋親自處理合並事宜。七月間，巢湖水軍千餘隻戰艦突破元軍封鎖抵達和州。朱元璋的步馬軍登上巢湖水軍的船隻，從和州東渡長江。到達對岸的采石，常遇春一馬當先，率軍衝殺，攻克采石，獲得大量糧食。將士想把糧食和戰利品運回和州慢慢享用。見此，朱元璋果斷地命人砍斷船纜，任船順流而下，斷絕退路。將士們見無路可退，一鼓作氣，在朱元璋率領下攻克太平。進入太平，朱元璋重申軍紀，嚴禁擄掠，有個別兵士犯禁，立即處死，因此，朱元璋的軍隊受到當地百姓的擁護。朱元璋於是置太平興國翼元帥府，自己做元帥，任命李善長為帥府都事。這樣，朱元璋便開始了穩固根據地的工作。
至正十六年（公元1356年）三月，張士誠在長江三角洲地帶發起攻勢，進攻江南元軍。乘此機會，朱元璋親自統率水陸大軍，第三次進攻集慶（今江蘇南京）。在第三天，攻破城外的陳兆先軍營，其部三萬六千人歸降朱元璋。但是，朱元璋看出降軍心存疑慮，軍心不定。於是朱元璋就從降軍中挑選了五百名勇士當親軍，在夜裏守衛，而自己身邊，隻留有親兵統領馮國用一人。
第二天，降軍知道此事，都十分感動，疑慮全消，甘願跟隨朱元璋打天下。於是，戰爭進行得十分順利，不到十天，朱元璋便攻下集慶。
朱元璋進城後，下令安撫百姓，改集慶為應天府。小明王韓林兒獲報後，升朱元璋為樞密院同僉，不久又升為江南等處行中書省平章。朱元璋在應天則設天興建康翼大元帥府，以廖小安為統軍元帥，李善長為左右司郎中。