朱元璋當然明白這個道理，他知道要維持一個疆土遠超宋朝、不亞於漢唐的大帝國，南京並不是合適的首都。在位三十一年內，定都問題幾乎成了朱元璋一塊心病。曆鑒前朝，凡定都金陵者，多是偏安，且國祚不久，朱元璋很忌諱這點。南京距離北部邊疆萬裏之遙，天高地遠，鞭長莫及，難以防範北方遊牧民族的威脅。而且南京附近的吳越之地比外省太過富饒，反而容易使皇帝安於現狀，不思進取，視邊患為無關痛癢的小問題。
北京做都城雖最具戰略價值，但當時明朝軍隊剛剛從元朝手裏收複大都，城池和周邊州縣還欠繁華和富裕，且胡化了四百餘年，與淮河和長江流域的文化有隔膜，對主要生在江淮、浙西的明朝開國功勳集團來說，定都在一個完全陌生的地區，心裏總是不踏實的。因此，朱元璋曾派太子朱標巡查長安、洛陽和開封，想選擇漢、唐、宋的故都為首都，然而經過一次次戰亂，關中已經殘破，喪失了作為一個大帝國都城的條件，洛陽亦是如此。開封處在無險可守的大平原上，最易受敵，戰略位置很不適宜。
朱元璋甚至想把首都遷到故鄉濠州鍾離——明朝建立後，皇帝故鄉作為“龍興之地”升格為鳳陽府，將鳳陽定為中都，派官員督民工在此營造宮殿多年，把老家建設得富麗堂皇。不過，營建鳳陽府不過是貧民出身的朱元璋實現一種“富貴還鄉”的人生理想而已，和外地發財的人回老家買地、建豪宅一樣，精神層麵的價值大於實用價值。
定都南京，對雄才大略的朱元璋來說，隻是一種權宜之計。終其一生，未能解決這個問題。
朱元璋死後，被葬在南京郊外的孝陵。從登基到駕崩，南京城深深地打下朱元璋個人的烙印。生前困擾他的定都難題，竟然在其死後，因為叔侄“鬩牆”而得到解決。
由政變導致的遷都
性格、才略酷似朱元璋的皇四子朱棣，被封為燕王，就藩被改稱北平的北京城。他和其他幾個年富力強、精明能幹的兄弟代王（封藩於山西大同）、遼王（封藩於廣寧州，今遼寧錦州境內）被朱元璋封在北部邊塞重要的城池，就是為了彌補政治中心處在南方的缺憾，替朝廷來防守北疆。
建文帝即位後，因削藩引發“靖難之役”。一四〇二年，朱棣攻破南京，建文帝下落不明。同年，朱棣即皇帝位。第二年，改元永樂，改北平為北京。一四二一年，成祖遷都北京。
北京是朱棣的封藩地，他起兵“靖難”之前，已在此經營二十多年，建立了屬於自己的一套政治、軍事、經濟體係。因此等他當皇帝後，北京及周邊地區已不再是“生地”而是“熟地”，遷都於此乃是瓜熟蒂落之事。遷都到北京後第四年，成祖逝於北征蒙古部落的軍旅之中。或許，因為得位不正，他羞愧於和父親葬在一起，於是被葬在北京城以北的昌平，是為長陵，為明十三陵之首。
嚴格地說，直到明英宗的正統六年（一四四一年），北京才成為正式首都。此前，一直被稱為“行在”，即皇帝率文武百官駐紮的臨時首都。而南京，則成為“留都”，即“置官留守的首都”。史上唐代也有事實上的留都——“東京”洛陽。因為洛陽和長安相距不遠，唐代一些皇帝（特別是改國號為“周”的武則天）曾長期住在洛陽，洛陽成為實際上的京師。南京是太祖所定之都，它名義上的政治地位很高，但實際的地位卻不如唐代的洛陽。留都南京對大明朝而言，更多的隻是象征意義。
當然，留都南京，除皇帝不在此城外，保留了一整套的中央政府官僚體係，可謂是“備份的朝廷”。六部、都察院、五府和內廷的太監體係，一應俱全。南京朝廷的官員級別和北京同樣的官員相同，主要管理南直隸（南京周邊十四個府、州，不設行省，直接由朝廷管理）的相應事務。雖然權力不如北京的官員，但也不能說是閑職。因為南直隸所轄的地區，乃經濟最發達、文化最昌明之區，天下賦稅三成多出自於此。