公元1354年春，朱元璋與徐達等率兵來到定遠，汁降張家堡驢牌塞地王武裝3000人，又乘勝星夜奔襲定遠另一股武裝橫澗山的“義兵元帥”繆大享、繆降，得其精壯2萬。朱元璋在得到了這支生力軍之後，立即重新編製，整頓紀律，加強訓練，從而使之成為一支戰鬥力很強的伍，聲勢大振，四方歸附。
在定遠，地主知識分子馮國用和馮國勝兩兄弟前來投奔朱元璋。朱元璋見馮家兩兄弟熟讀經書，精通兵法，廣有謀略，便經常向他們請教治軍取國的方法。有一次，來元璋問取天下的大計，馮國用說：“金陵龍蟠虎踞，向來是帝王之都，如能先奪取金陵作為根據地，然後四處征戰。提倡仁義，以收人心，奪取天下是不難的。”朱元璋聞罷大喜，立即下令拔營向金陵方向進發。
進軍途中，定遠的地主知識分子李善長前來投奔，朱元璋同他促膝交談，問他奪取天下之方略：李善長說：“秦朝末年大亂，漢高祖也是平民出身，因為他豁達大度，知人善任，不濫殺無辜，所以隻花了五年時間成就了帝業。現在元朝政治這樣混亂，天下土崩瓦解，您何不向漢高祖學習呢？”朱元璋聽後連連稱善，當即留在身邊幫助自己出謀劃策；丈人儒士的韜晦方略使朱元璋堅定了奪取天下的雄心壯誌，加快了他橫掃群雄，統一天下的步伐。
公元1355年春，劉福通等迎立韓林兒稱帝，號小明王，立國號“宋”。不久郭子興去世，韓林兒任傘郭子興之子郭天敘為都元帥，妻弟張天灶為右副元帥，朱元璋為左副元帥。不久，郭天敘與張天灶二帥攻集慶，皆戰死，朱元璋又被提升為大元帥，於是郭子興所部盡歸朱元璋。
公元1356年春，朱元璋親督水陸諸將攻取金陵。在城外屯兵的陳兆先戰敗投降，朱元璋得其眾36000人，並在降卒中挑選500人帶到自己的營房，讓他們環榻而寢：朱元璋脫下戰袍，一覺睡到天亮。這500人對朱元璋的信任感恩戴德，在攻打金陵城時；中鋒陷陣，英勇殺敵，旋即攻下金陵城，元守將福壽戰死，水寨元帥康茂才和軍民5餘萬歸降。小明王韓林兒，又任命他為江南等處行中書省的左丞相。攻占金陵之後，朱元璋改金陵為應天府。
此時的朱元璋，雖擁有應天府這樣一個根據地，但處境仍是很困難的，他東有張士誠，西有徐壽輝，北有元軍，三麵受敵。朱元璋便派兵陸續攻占應天周圍的一些城鎮和地區，控製住應天外圍的各處戰略據點。在公元1357年勝利攻占徽州後，經大將鄧愈推薦，朱元璋覓得老儒朱升。朱升當麵給朱元璋謀劃了一個具有曆史意義的重大戰略、就是：“高築城牆，廣積糧，緩稱王”。
就是說，要擴充兵力，鞏固後方；發展生產，儲備糧食；不圖虛名，暫不稱王，以減小受攻擊目標。朱元璋聽後連連點頭。朱升的話雖不多，以後確實成了指導朱元璋奪取天下，建立大明王朝的行動綱領。
“高築牆”有兩層含義，第一層含義是指要有一個強大和鞏固的戰略根據地，用以積蓄人力、物力。朱元璋聽取了朱升的謀略選擇應天及其周圍的地區作為根據地來”高築牆”；“高築牆”的另一個含義，是指建立一支強大的武裝力量。建立武裝力量，就必須抓緊軍隊建設，注意軍事訓練，提高義軍將士作戰的本領。
朱元璋的“廣積糧”戰略，有著鮮明的針對性，其意義是遠大的已超越了一般意義上的重視糧秣。朱元璋盤踞在江淮一帶，是著名的“魚米之鄉”，按理說糧食不成問題；但朱元璋仍然要把“廣積糧”作為大戰略的三大要素之一。這是因為元末的江淮自然災害十分嚴重，百姓經常是無法解決溫飽，而朱元璋的起義軍現在已有幾十萬之眾，雖在攻占江南後得到了很多的糧食，但由於起義軍迅速擴大，很快就消耗幹淨。因而朱元璋在戰事頻繁的空隙中，抓緊糧食生產。他任命元軍降將康茂才為都水營田使，由他負責興修水利和屯田等項農業生產的事宜。並且下令各部隊利用戰爭的空閑時間都要在駐地開墾荒地，種植糧食，幾年的功夫不僅解決了軍隊的糧食困難的問題，而且還有了大量的剩餘，改變了曆來打戰的軍隊靠吃軍糧的習慣。同時，又建立了管領民兵的萬戶府，主要職責是將民間的部分壯丁編為民兵，農時耕種，閑時練兵：這樣就大大減輕了自己勢力範圍中農民的負擔，得到了當地百姓的擁護。
“緩稱王”作為朱元璋“高築牆、廣積糧、緩稱王”大戰略的最後一個環節，實際上也是最重要的一個環節。在天下大亂的封建時代，起兵割據並不是說就和中央勢不兩立，但一旦稱王稱帝，朝廷必定要派大軍前去鎮壓。徐壽輝稱帝的第二年，元朝大軍就對其發起大規模的進攻。同樣的道理，張士誠、劉福通等人，都遭到了元軍的圍剿。隻有朱元璋，一直到大舉北伐南征前，都未受到元軍主力進攻。
為了避免樹大招風，較早地暴露自己，以防止在力量脆弱時被吃掉，朱元璋在形式上一直對小明王保持臣屬關係，用宋政權的龍鳳年號，打紅巾軍的紅色戰旗，就是鬥爭的口號也與宋政權一致不二。直到公元1364年，朱元璋才稱吳王，