洪武元年(1368)，朱元璋在應天(今江蘇南京)稱帝，國號明，建元洪武，是為明太祖高皇帝，立世子標為皇太子，任徐達為右丞相兼太子少傅。
副將軍常遇春攻克東昌，兩軍在濟南會師。部隊回到濟寧後，明軍溯黃河而上，進軍汴梁(今河南開封)，守將李克彝逃跑，左君弼、竹貞等投降。於是明軍從虎牢關進入洛陽，在洛水以北，與元將脫因帖木兒大戰，脫因帖木兒大敗而逃。梁王阿魯溫投降。在奪取和穩定了嵩州、陝州、陳州、汝州後，明軍向潼關進攻。這時元將李思齊跑到鳳翔，張思道逃到了鄰城，明軍入關，向西進至華州。
明太祖收到捷報後，來到汴梁，召見徐達，設酒宴慰勞，並計劃北伐。
徐達說：“大軍平定了齊魯，掃蕩了河洛，王保保(擴廓帖木兒)正在徘徊觀望，潼關已經攻克，李思齊等人狼狽向西逃跑。元朝的援兵已經斷絕，現在乘勝直攻元朝的京師，不用打什麼大仗就可以將其占領（元聲援已絕，今乘勢直搗元都，可不戰有也）。”太祖深以為然。徐達接著又說：“攻陷元朝的大都，元主向北逃跑，這時要窮追他嗎?”太祖說：“元朝的氣數已盡，將會像水一樣慢慢幹涸，我們也要慢慢來消滅他們，不必竭盡兵力去追趕，窮寇莫追嘛!他們出塞以後，隻要加強邊境的守衛，防止他們的進犯就可以了。”
徐達接受了皇帝的命令。與副將軍常遇春在河陰會師，分派人馬攻占河北各地，接連拿下了衛輝、彰德、廣平。部隊駐紮在臨清，命傅友德修築陸路，以便騎兵通過，又疏通了河道，以便水師通行。準備工作做完後，便揮師北上。
常遇春很快攻克了德州，雙方合兵攻占了長蘆，控製直沽，造了大量浮橋讓士兵渡過。水陸兩軍同時進發，在河西務(今天津武清西北北運河西岸)大敗元軍，進而奪取通州(今北京通縣)。元順帝一見，命淮王帖木兒不花監國，丞相慶通留守，他帶著太子後妃，開建德門由居庸關倉皇北逃至上都(今內蒙古正藍旗東20公裏的閃電河北岸，也稱開平府)。
過了一天，徐達列兵齊化門，命人填平城外的壕溝登城。監國的淮王帖木兒不花，左丞相慶通，平章迭而必失、樸賽因不花，右丞張康伯，禦史中丞滿川等拒絕投降，徐達將之全部殺掉，而其餘的人一概免死。他又封了倉庫，造冊登記圖籍珍寶文物，命令指揮張勝領1000兵守衛宮殿門，讓宦官保護照顧各宮人、妃嬪、公主，禁止士卒無禮侵犯。官吏百姓都得以安居，市內的作坊店鋪也都照常營業。
太祖收到捷報後，下詔將元朝的京城大都改為北平府，設置六個衛，令孫興祖等留守，而讓徐達與常遇春進取山西。
常遇春先攻下了保定、中山、真定，馮勝、湯和攻下懷慶，越過太行山，攻占了澤州、潞州，徐達亦率大軍開到。
當時擴廓帖木兒正領兵出雁門關，準備由居庸關進攻北平。徐達得訊後，與各將領商議說：“擴廓帖木兒遠出，太原必定空虛。北平有孫都督守衛，足以抵禦。我們正可以出其不意，直搗太原，使他進不能攻，退無處守，正所謂抓住要害乘虛而入。如果他領兵向西以求自救，那就正好將其擒獲。”眾將深為讚同。於是明軍揮師太原。
擴廓帖木兒到了保定，聽說太原吃緊，急忙回軍自救。徐達選派精兵夜襲其營地，擴廓帖木兒隻帶18騎逃脫。徐達俘虜了其部眾，並將其全部收編。就這樣，太原被徐達攻占。接著，明軍又拿下了大同，分兵攻取了還未占領的州縣，山西遂被平定。
洪武二年（1369）正月，詔立功臣廟於雞鳴山下，太祖親定功臣位次，以徐達居首。
同年，徐達率大軍西渡黃河，到了鹿台。當時李思齊據守在陝西鳳翔，其部將張德欽等據守關中，張思道據守奉元。
徐達統大軍繼續前進，涇河渭水之地的老百姓都出來迎降，張思道不戰而逃至慶陽，徐達把奉元路改為西安府，由耿炳文駐守。
常遇春率大軍到了鳳翔，李思齊逃至臨洮(今甘肅岷縣)，常遇春占領了鳳翔。
徐達召集眾將商議下一步的進軍方案。許多將領都說：“張思道的能力不如李思齊，這樣攻打慶陽就比攻打臨洮更容易些，所以應該先打慶陽。”
徐達聽了，微微一笑說：“你們說的雖然有道理，但事情沒有這樣簡單。慶陽城險而且部隊精銳，不容易一下子拿下來。臨洮北麵與黃河、湟水相連，西麵控製著羌、戎，如果我們占領了它，那裏的人足可以補充兵源，那裏的物產亦完全可以補充軍隊物資的儲備。我們以大軍前去逼迫，李思齊若不走，就隻能束手就擒。臨洮拿下，其他郡縣就更不在話下。”
他力排眾議，派兵渡過隴水，攻克秦州，拿下伏羌、寧遠，進入鞏昌，派遣右副將軍馮勝進逼臨洮，李思齊果然不戰而降。徐達又分兵攻克蘭州，打跑豫王，收繳其輜重，回兵出蕭關，拿下平涼。張思道在寧夏被擒，其弟張良臣舉慶陽投降，徐達派薛顯前去受降，張良臣卻又叛變，晚上出兵襲擊，打傷了薛顯。徐達指揮部隊將其包圍。擴廓帖木兒派將領前來援救，徐達反擊，打敗援軍，慶陽被占領。
張良臣父子一看不妙，投井自殺未遂，被明軍撈出來斬了，陝西地區從此平定。太祖下詔徐達班師，賜給他大量的金銀和布帛。
洪武三年（1370）春天，太祖再以徐達為大將軍，平章李文忠為副將軍，分道出兵。徐達從潼關走西路，直搗定西，攻打擴廓帖木兒。李文忠從居庸關走東路，穿越沙漠，追趕即位的元主。
徐達到了定西，擴廓帖木兒已退到沈兒峪屯守，徐達進兵逼迫，於次日大敗擴廓帖木兒的軍隊，俘虜敵郯王、文濟王以及國公、平章以下文武部屬1860多人，將士84000多人，馬、駱駝和其他牲口數萬頭。擴廓帖木兒僅僅帶著他的妻子等幾人跑到了和林。
徐達打敗了擴廓帖木兒，立即率部隊從徽州南麵出發到略陽，攻克沔州，進入連雲棧，攻打並奪取了興元。而副將軍李文忠亦攻克應昌，俘獲元主嫡孫、妃、公主、將相。捷報先後傳了上去，太祖下詔命令休整軍隊，班師還朝，並親自到龍江慰勞迎接。
十一月，太祖下詔大封功臣，授予徐達開國輔運推誠宣力武臣，特進光祿大夫、左柱國、太傅、中書右丞相參軍國事，改封魏國公，年俸祿5000石，給予世襲鐵券。此時徐達隻有39歲！
次年，徐達率領盛熙等將領到北平操練軍隊，修繕城池，遷徙山後軍兵充實各個衛府，設置了254個屯，開墾荒地1300多頃。當年冬天，徐達被召回京師。
洪武五年（1372），朱元璋再派大軍征討擴廓帖木兒。徐達任征虜大將軍，由中路出，左副將軍李文忠從東路出，征西將軍馮勝從西路出，各帶五萬騎兵出塞。徐達派都督藍玉在土剌河打敗擴廓帖木兒。擴廓與賀宗哲合兵頑強抵抗，徐達失利，損兵數萬。太祖因為徐達以往的功勞卓著，不予追究。
第二年，徐達再領眾將巡行邊境，在答剌海打敗敵人，回軍北平，在此守衛三年才回京師。洪武十四年(1381)，他再統帥湯和等征討乃兒不花，然後又返回鎮守北平。
徐達每年春天出征，冬末被召回京師，已經習以為常，他一回來總是立即交還將印。太祖稱其為布衣兄弟，賜給他假期，設宴接見，兩人相對痛飲，而徐達卻更加謙恭謹慎。太祖曾經對他說：“天德功勞大，可現在仍舊沒有合適的宅第，可以把朕的舊邸賜給你。”所謂舊邸，是太祖當年稱吳王時所住的地方。徐達堅決推辭。
有一天，太祖約徐達到舊邸，將其灌醉，然後用被子裹著，抬到寢室裏。徐達酒醒後，嚇得趕快跑下台階，俯伏在那裏高呼自己死罪。太祖看到後，非常高興，於是命令在舊邸前為徐達蓋起宅第，並為其題寫牌坊，旌表其為“大功”。
胡惟庸當丞相，想和徐達拉關係，徐達鄙薄他的為人，不予理睬。胡惟庸便賄賂徐達的守門人福壽，讓他設法加害徐達。福壽將其揭發，徐達亦不追究，隻是常常對太祖說胡惟庸不能勝任丞相。後來胡惟庸的陰謀果然敗露，太祖也就更加器重徐達。
洪武十七年(1384)，徐達在北平生病，背上長疽，稍微好了一點，太祖派徐達的長子徐輝祖帶著敕書前去慰勞，不久將其召回。
次年二月，徐達病重，不久去世，享年54歲。太祖為此停止上朝，親自參加葬禮，哀慟不已。徐達被追封為中山王，諡號武寧，子孫三代被贈予王爵。太祖將其賜葬在鍾山北麵，親自為其撰寫神道碑文。他的牌位供在太廟附祭，肖像供在功臣廟，位列第一。
徐達22歲起追隨朱元璋，舍生忘死，忠誠不渝，是開創大明王朝的第一功臣。他有勇，敢隻身入敵營求代朱元璋；他有謀，能根據不同敵情采取不同打法克敵製勝；他謙虛，居功至偉卻不以功臣自居；他正直，不貪色、不貪財、不營私舞弊、不隨波逐流。在明朝開國功臣裏，他能以功名終，可謂罕見；而朱元璋與其兄弟相稱，也堪稱異數。他為掃平割據的群雄，統一華夏，立下不朽的功勳，不愧是武略文韜兼備的千古名將。