再後來，漢初，匈奴乘華夏戰亂，越過秦大將蒙恬所築長城，和漢帝國以戰國秦、趙、燕長城為界對峙。由於長城年久失修，北方守軍稀少，因此，強大的匈奴不斷進入長城以內擄掠。但是，就是這樣一條破爛不堪的長城，也在一定程度上發揮了軍事防禦作用。程不識是駐守長城的名將，治軍嚴厲，隻要他戍邊匈奴就不敢來犯。其後衛青、霍去病、公孫賀、公孫敖等出擊匈奴，均以秦、趙長城為進攻退守的主要據點
漢武帝登基後，連續發動多次對匈奴的戰爭，將其驅逐至漠北，修複了蒙恬所築秦長城，又修建了外長城，築成了一條西起大宛貳師城、東至鴨綠江北岸、全長近一萬千米的長城。此時戰國時期的秦、趙、燕長城才被放棄，其軍事防禦作用也隨之終結。
漢武帝修築長城驅逐匈奴，對維護西漢帝國的安全起了很大的作用，同時也維護了絲綢之路的暢通和安全，有著非凡的曆史意義，三國時期到西晉這段時間，長城大致維持了之前的防禦態勢，直到南北大亂鬥時期，混亂了幾百年。一直到隋唐時期才開始重新修建。
隋文帝時期，為了對付來自漠北突厥的南下襲擾和掠奪，隋文帝楊堅自建國伊始，就把修築長城、鞏固邊防，視為重要國防政策。隋煬帝楊廣即位以後，除了繼續防禦北方突厥的襲擾之外，還要著力對付來自西北方麵吐穀渾的侵襲，為此曾先後兩次修築長城，動用勞力之多隋代前所未有。
自開皇元年至大業四年的28年中，隋朝兩代統治者先後7次調發近200萬勞力，於北部和西北部邊境修築長城、增建城壘，在前代北魏和周、齊修築長城的基礎上，使東迄紫河，中經朔方、靈武之境，西至榆穀以東的長城、築壘，基本連成一線。隻不過在隨後的唐朝時期，再也沒有新建長城的記錄了。
一直到慫宋才開始重新在一些地方修建，新的長城防禦措施。宋長城西起岢嵐縣青城山，東至荷葉坪山。岢嵐境內現存的38千米宋長城牆體全部由片石砌成，保存完好處高約4.2米，頂寬約1.6米，有些段落保留著30厘米左右的女牆，有的地段還有炮台遺跡。附近散落有大量宋朝瓷片，有的地段發現有炮台遺跡。在後麵前金，也修建了一條東西走向的長城，主要目標是為了防範草原的猛人。在之後，萌人入主中原長城又開始荒廢了一段時間。一直到前朝（明）才開始重新恢複對長城的建設。
明朝則修建了兩個長城，其中內長城以北齊所築為基礎，起自偏關以西，東行經雁門關、平型諸關入燕趙，然後向遼東而去，經淶源、房山、昌平諸縣，直達居庸關，然後又由北向東，至懷柔的四海關、與“外邊”長城相接，以紫荊關為中心，大致成南北走向。“內三關”長城在很多地方和“內邊”長城並行，有些地方兩城相隔僅數十裏。除此以外，還修築了大量的“重城”，雁門關一帶的“重城”就有24道之多。
明朝建立以後，退回到漠北草原的蒙古韃靼、瓦剌諸部仍然不斷南下騷擾搶掠；明中葉以後，女真族又興起於東北地區，也不斷威脅邊境的安全。為了鞏固北方的邊防，在明朝的200多年統治中幾乎沒有停止過對長城的修築工程。明代長城的修建過程，大體可以分為三個階段:前期對長城的修繕。明朝開國之初，國勢強盛，太祖洪武五年，出兵15萬分二路進擊漠北，西路打通了河西走廊，設置甘州、莊浪諸衛。洪武二十年，大將軍馮勝、藍玉經略東北，將邊界推進到大興安嶺以西。明成祖朱棣即位後，在永樂八至二十二年的15年間，先後5次發兵，深入漠北，迫使瓦剌和韃靼分別接受了明朝的冊封。明朝的北部邊防線推進到大興安嶺、陰山、賀蘭山以西以北一帶。明前期的長城工程主要是在北魏、北齊、隋長城的基礎上，“峻垣深壕，烽堠相接。”“各處煙墩務增築高厚，上貯五月糧及柴薪藥弩，墩旁開井……”，“自長安嶺迤西，至洗馬林，皆築石垣，深壕塹”《明會要》卷六三，即增建煙墩、烽堠、戍堡、壕塹，局部地段將土垣改成石牆。修繕重點是西山至山西大同的外邊長城和山海關至居庸關的沿邊關隘。