匈奴最南的邊界，在被稱為“河南地”的河套之南，距秦王朝的中華帝國的心髒——首都鹹陽隻有250公裏，迅疾剽悍的匈奴騎兵一天便可以抵達城下，對秦始皇的統治是一大隱患。“臥榻之旁，豈容他人鼾息？”嬴政大帝統一六國後，就派蒙恬（？—公元前210，一代名將，祖先本齊國人，祖父驁、父武均為秦國將領。以打敗匈奴、築連長城著名。相傳他還改良過毛筆）駐守北邊，阻止匈奴的南下。公元前215年，始皇帝出巡北邊，又派蒙恬率30萬大軍越過黃河寒水濁浪，進攻匈奴，“卻匈奴七百餘裏，胡人不敢南下而牧馬”（賈誼《過秦論》），奪回了河套地區及河套北陰山（時稱高闕）一帶，設置了44個縣，重建了九原郡。為了進一步鞏固北方邊境，秦始皇又下令修築“直道”，以加強對邊境軍隊的支援；遷內地3萬戶移民到河北、榆中（今內蒙古伊金霍洛旗以北）地區屯墾實邊；並繼續修築長城，加強防禦。
當時人們把北方的匈奴稱為“胡”。由於其曾給秦王朝造成過極大威脅，群眾中流傳“亡秦者胡也”之說，所以秦始皇北擊匈奴，修築長城。又由於秦王朝是在秦二世胡亥時亡的，後來人們即認為這個“胡”就是指胡亥。唐朝詩人胡曾詠《長城》寫道：“祖舜宗堯自太平，秦皇何事苦蒼生？不知禍起蕭牆內，虛築萬裏防胡城。”
北擊匈奴，徙移民實邊，修築長城，當時確實給人民帶了嚴重的徭役負擔；然而，站在曆史發展的角度來看，秦始皇的這一係列積極措施，有力地遏止了北方匈奴、東胡的騷擾，促進了邊境的開發和民族的融合，推動了當地經濟、文化的發展，對保障內地人民的安定生活和生產也起到了重要作用。
“百越”泛指我國古代分布於今浙江、福建、江西、廣東、廣西一帶與中原華夏民族不同的少數民族。因為其部落眾多，民族複雜，故統稱百越。百越中最著名的一支是於越，分布於今浙江紹興一帶。在春秋時於越曾建立了曆史上有名的越國，戰國時為楚國所征服。秦始皇於公元前223年滅楚時，將於越地區已並入大秦的版圖。此外還有甌越，也叫東越，以浙江溫州一帶為中心，分布於今浙江南部甌江流域；閩越，以今福建省福州地區為中心；在今廣東、廣西（包括中南半島北端）一帶則分布著南越和西甌（又叫“陸梁”，意即陸地上的強梁，極言其之強悍善戰）。所以，今天還有發源自紹興一帶的古老的“越劇”；而廣東簡稱“粵”也是“越”的諧音；在中國以南還有個叫“越南”的國家。當時，百越大多數還處在原始氏族社會階段，從事原始的漁獵活動和原始的農業生產，都有“斷發文身”的生活習俗，經濟和文化都十分落後。
公元前221年，秦始皇滅掉六國以後，就派尉屠雎率50萬大軍向這些地區發動進攻，展開大規模的征服戰爭。他們先是征服了東甌和閩越，建置了閩中郡。秦軍在征服百越的戰爭中，後者都退守到了深山樹林中，莽莽蒼蒼，峰高穀幽，不知去向；而且燠熱難當，毒蛇猛獸橫行，他們便很難進攻。尤其是南越和西甌（即今兩廣境內）兩支越族部落，還進行了頑強的抵抗。《淮南子·人間篇》記載說，越人皆躲進樹林草叢，不肯做秦軍的俘虜，並推舉傑駿為首領，率領越人夜間突襲秦營，敵人大敗。秦軍伏屍數十萬，統帥尉屠雎也被殺死。
為增援進南越的秦軍，秦始皇這才打通了五嶺（又叫南嶺）之一的大庾嶺，秦兵用雙手在崇山懸崖上開辟出了一條山道，使江南和嶺南豁然相通；並命史祿開鑿了靈渠，溝通了長江、珠江兩大水係，為南北水路交通起到了重要作用。秦軍通過南嶺山道、靈渠運河輸送糧草兵馬，再經過了數年血戰，方才征服了南越和西甌（他們盡管勇猛善戰，但畢竟敵眾我寡，且對方配備有更精良的武器），並在這裏設置了桂林、南海、象郡。公元前214年，秦始皇又謫發國內商賈、流亡人、贅婿（秦王朝法律認定這些人有罪）和一部分有罪的官吏來到這三郡之地，從事墾荒和防守，和越人雜居。從此，中國東南及華南便都統一到了大秦王朝的版圖之中。
征服百越的大規模戰爭，損失了大量的人力和物力，也給人民帶來了一定的災難。但是，大秦朝廷把內地人大量遷徙到南方地區，和勇敢勤勞的百越少數民族雜居，並帶去了進步的生產工具、生產技術和文化知識，使他們逐漸在經濟和文化方麵融合起來，這對華南的開發和改變華南地區的落後狀態，以及對以後中國曆史和社會的發展，都作出了巨大的貢獻。
平定匈奴，征服百越，不但奠定了我國領土的基礎，疆域擴展，國土廣闊，而且標誌著我國統一的、多民族的封建國家的誕生，帝國崛起於東方，盡顯天下大國的泱泱氣派。
對內，嬴政陛下也懂得大力發展生產。他還是在繼承和發揚商鞅變法的那些可取之處，如於統一之初首先即下令“使黔首自實田”（《史記·秦始皇本紀》），即讓占有土地的地主及自耕農向國家政府機關呈報實際占有田地的畝數。這等於在全國範圍內承認土地私有製，還允許自由買賣，並予以法律保護。同時，采用“重農抑商”（即所謂“強本抑末”）政策，讓“百姓當家則力農工”，鼓勵從事農業、手工業生產。當然，采取郡縣製，廢除分封製，統一戶籍管理；統一度量衡、貨幣、文字；修築萬裏長城，開通靈渠、鴻溝、鄭國渠，鋪設馳道、直道、五尺道……這種種措施，都對發展生產起到了促進作用。
此外，秦始皇還大規模地把天下原各諸侯國的富豪、貴族和強宗（據說多達12萬戶）遷移集中到了首都鹹陽一帶。為防止春秋戰國時期割據分裂的再現，嬴政大帝將他們都遷到了關中的鹹陽、三川、南陽、巴蜀和趙地，使他們脫離鄉土，行動被束縛，以便監視。當然，另一方麵這也使得首都和朝廷的財富迅速集中和膨脹，使得關中等主要地區更加富饒和繁榮。秦始皇二十八年（公元前219）第二次出巡到山東時，又遷徙了3萬黔首（庶民）到當地琅琊定居。公元前211年，他再次下令把3萬戶黔首遷徙到北方的北河、榆中郡居住。俗話說：“人挪活，樹挪死。”人口的遷移，在客觀上是有利於發展生產與國家進步的。
還有就是下文中還要提到的，秦始皇熱中於長生不老術，為派人尋找世外神仙居住之地，方士徐福率眾東渡。雖兩次訪仙均不成，卻向日本國土遷移了人口，輸送了物質、文化和技術，對日本的發展起到了一定的作用。
說的是公元前219年，秦始皇正巡行到東方齊國故地。當地方士徐福等為阿諛皇上，投其所好，竟上書說：東海中有蓬萊、方丈、瀛洲三座仙山，山上住有仙人。東海有蓬萊仙島之說，在戰國時便已頗為流行。齊國故地瀕臨沿海，人們常可看到海市蜃樓的幻景。當時在自然科學知識尚不能解釋的情況下，大家都誤認為那是三山仙境，不足為奇。秦始皇聞言大喜，於是派遣徐福帶領童男童女數千人（一說各500人），乘特製大船入海尋覓仙島，向仙人求取“不死藥”。可是，徐福等人入海一去就是多年渺無音訊（直到秦始皇臨死前，才又見到他，並令他再次入海尋仙）。這無疑是荒唐之舉。清朝詩人朱瑄在《祖龍引》一詩中諷刺道：“徐福樓船竟不還，祖龍旋已葬驪山。瓊田尚致長生草，眼見諸侯盡入關！”也就是說，徐老頭的仙藥還未求到，始皇帝就已命歸驪山了。即使從“蓬萊”求到了“長生草”，他也隻能看著劉邦、項羽等人打進關中和大秦滅亡的悲劇。
有人認為，徐福一開始就蓄意一去不返了，他是打算用這些童男童女去開辟海上的新疆土。反正，徐福第二次出發後就再無消息。或說他已在大海中沉沒，全體溺死；或說他終於找到了蓬萊仙島，即現在的日本國，並定居下來，在這裏相互結合，生育繁衍，現代日本人身上仍流著他們的血統。也就是說，他們是現代日本人的重要祖先之一。這兩種傳說都有可能。但今天日本國沿海一帶仍建立有徐福廟，以及許多日本人也承認自己就是徐福那些童男童女的後裔，似乎很支持後一種說法。