倒馬關，直抵幽燕，連接瀚海；西去軒崗口、寧武關、偏頭關，至黃河邊。關有東、西二門，皆以巨磚疊砌，過雁穿雲，氣度軒昂，門額分別
雕嵌“天險”“地利”二匾。東西二門上曾建有城樓，巍然淩空，內塑楊家將群像，並在東城門外，為李牧建祠立碑，可惜城樓與李牧祠均在日寇侵華時焚於一旦。唐代詩人李賀的《雁門太守行》寫出了雁門關當年的豪邁氣勢：“黑雲壓城城欲摧，甲光向日金鱗開。角聲滿天秋色裏，塞上燕脂凝夜紫。半卷紅旗臨易水，霜重鼓寒聲不起。報君黃金台上意，提攜玉龍為君死。”
雁門關作為天下第一塞，從戰國時期的趙武靈王起，曆代都把此地看做戰略要地。趙置雁門郡，此後多以雁門為郡、道、縣建製戍守。雁門關之稱，始自唐初。因北方突厥崛起，屢有內犯，唐駐軍於雁門山製高點鐵裹門設關城，戍卒防守。
明朝於洪武七年（1374年）組織民工築新關於舊關東北5千米處的要道。新關南距代城縣20千米，北鄰廣武古城10.5千米，地勢更為險要。該關城周長1千米，牆高7米，石座磚身，雉堞為齒，洞口三重，曰東門、西門、小北門。東門上築樓台，曰雁樓，門額嵌石匾一方，橫書“天險”。西門上築有楊六郎廟，門額嵌石匾一方，橫書“地利”。小北門未設頂樓，但磚石結構，格外雄固，門額石匾橫刻“雁門關”三字。洞門兩側鑲嵌磚鐫楷書楹聯：“三關衝要無雙地，九塞尊崇第一關。”
東門外北側建有李牧祠，祭祀戰國時代的軍事家趙國名將李牧；西門外右側建有關帝廟。關城正北置有駐軍營房，東南設有練兵校場。整個關城建築，虎踞龍盤，雄偉壯觀。明清以後，關城雖屢有重建，但隨著多民族統一國家疆域的逐步形成，內長城作為“內邊”的作用已經失去，所屬的雁門雄關也隨之荒廢。現在的關城僅餘東門、西門、小北門三個門洞和李牧祠前的一對石獅，一副石旗杆，明鐫李牧碑石一塊，以及祠後的數株青鬆。縱覽雁門關曆史的興衰，自公元前4世紀至20世紀，發生在這裏的戰事達140次之多。
李牧大破匈奴
戰國時代的趙武靈王曾進行軍事改革，推行胡服騎射，大敗林胡、樓煩的入侵，建立了雲中、雁門、代郡。後來，李牧奉命常駐雁門，防備匈奴。
趙國北邊和匈奴接壤。公元前309年，趙武靈王下令國中推行胡服騎射，進行了一係列改革，軍事力量逐漸強大，屢敗匈奴等北方胡人部落。但是，到了趙惠文王、趙孝成王時期，匈奴各部落軍事力量逐步恢複強大，並不斷騷擾趙國北部邊境，趙惠文王便派李牧帶兵獨當北部戍邊之責。
趙武靈王時雖築了長城抵禦匈奴，但趙國還是常常遭到匈奴的入侵，被搶掠去不少百姓和財物。趙孝成王時，派李牧為將，鎮守北邊，帥府駐在代雁門郡（今山西省寧武縣以北一帶）。
在抗擊匈奴的鬥爭中，李牧表現了其傑出的軍事才能。為了有利於戰備，李牧首先爭取到趙孝成王同意，自己有權根據需要設置官吏，而且本地的田賦稅收也全部歸帥府，用做軍事開支。針對趙軍和匈奴軍的特點，李牧深思熟慮後采取了一係列的軍事經濟措施。
他將邊防線上的烽火台加以完善，派精兵嚴加守衛，同時增加情報偵察人員，完善情報網，及早預警。
為了提高部隊的戰鬥力，李牧密切官兵關係，厚待士卒，每天宰殺幾頭牛犒賞軍隊，戰士精練騎馬射箭戰術。全軍戰士由於得到厚遇，士氣高昂，人人奮勇爭先，願為國家出力效勞。針對彪悍的匈奴騎兵機動靈活、戰鬥力強及以掠奪為主要作戰目的、軍需全靠搶掠的特點，為使竄擾的匈奴兵徒勞無功，李牧命令堅壁清野，並示弱於敵，以麻痹強敵，伺機殲敵。為此，他嚴明軍紀：“匈奴入盜，急入收保，有敢捕虜者斬”，所以每當匈奴入侵邊境，烽火台一報警，李牧即下令士兵立即收拾物資退入城堡固守，從不出戰，使匈奴無從擄掠。這樣過了幾年，李牧軍隊沒有人員傷亡也沒有損失過物資。
然而，時間一長，匈奴兵將總以為李牧膽小怯戰，根本不把他放在心上；就是趙國邊兵們亦在下麵竊竊私議，以為李牧膽小怯戰。李牧一意堅守不主動出擊的消息傳到趙孝成王那裏，趙孝成王派使者責備李牧，要李牧出擊。李牧老謀深算，意欲放長線釣大魚，也不作解釋，我行我素，依然如故。匈奴一來，即深溝高壘，堅守不出。匈奴往往滿懷企望而來，卻一無所獲而歸。