漢匈關係，自漢初以來就是長期困擾雙方的重大問題。究其實質，雙方關係主要圍繞“和親”與“戰爭”兩個方麵展開，正如班固在《匈奴傳讚》中所說，自漢興以來，“忠言嘉謀之臣，曷嚐不運籌策，相與爭於廟堂之上乎！”“人持所見，各有異同。然總其要，歸兩科而已：縉紳之儒則守和親，介胄之士則言征伐。”所謂和親與征伐始終是影響漢匈關係發展趨勢的關鍵所在。進入昭宣時代，匈奴經過武帝時期的軍事打擊，勢力大衰，已經無力在北境進行大規模的侵擾，而將爭奪的重心轉向西域。但在宣帝本始三年遣五將軍與烏孫聯合出擊匈奴，及神爵二年（前60年）在西域設置都護府後，匈奴在西域的爭奪也宣告失敗，從此匈奴更趨衰落。在兵敗於外的情況下，匈奴五單於爭立，又爆發了嚴重的內訌，呼韓邪單於主動附漢，為宣帝所接納，雙方關係出現新的調整態勢，為其後漢匈長達六十多年的和平相處開啟先河。
在玉門關和陽關以西，巴爾喀什湖以南，蔥嶺以東有一片廣袤而又神秘的土地，這就是被西漢時人稱為“西域”的地區。西域的範圍大體上相當於今天的新疆地區，有時蔥嶺以西的一些地區也被包括在內。班固撰《漢書·西域傳》，總括西域形勢曰：
西域以孝武時始通，本三十六國，其後稍分至五十餘，皆在匈奴之西，烏孫之南。北有大山，中央有河，東西六千餘裏，南北千餘裏，東則接漢，厄以玉門、陽關，西則限以蔥嶺。其南山同，東出金城，與漢南山屬焉。
可是在西漢初年，中原地區的人們對西域的了解實在太少了，西望的視線被連綿千裏的祁連山脈所阻斷，隻有上古時流傳下來的一些美麗而又離奇的傳說，為人們提供了許多可以馳騁想象的空間。漢匈戰爭的深入發展，為揭開這片土地的神秘麵紗提供了一個難得的曆史機遇。
建元初年，漢武帝從匈奴俘虜的口中獲悉，匈奴老上單於擊敗原來居住在河西地區的月氏人後，曾用月氏王的頭骨做成“飲器”，月氏被迫西遷，常圖東歸報仇雪恥，隻是苦於勢單力薄，因此未能如願。武帝非常重視這個情況，一個聯絡月氏，夾攻匈奴的戰略意圖形成。但是，通往西域的唯一交通要道河西走廊控製在匈奴渾邪王與休屠王的手中，而且月氏西遷後的下落也無人知曉，西域的情況更是不為人所知。武帝因此懸重賞招募使者，漢中人張騫以郎官應征，從此踏上了通往西域漫長而又危險的曆程。
建元三年（前138），張騫率領一百多名隨員從長安出發，剛剛由隴西進入河西地區，就被匈奴騎兵俘虜，押送至單於王庭（當時單於王庭在漠南，今內蒙古呼和浩特附近）。軍臣單於欣賞張騫的冒險精神，勸其歸降，遷往匈奴西部看押。在度過十餘年的半囚徒式的生活後，張騫終於得到機會，與部分隨員逃離匈奴，繼續西行。張騫等穿過車師（又作姑師，在今新疆吐魯番西北）附近的天山缺口，沿天山南麓西行，越過蔥嶺，進入大宛境內。大宛遣人將張騫送至康居，再由康居送至大月氏（即月氏）。
張騫雖然到達大月氏，但情況卻發生很大變化。月氏人被匈奴擊敗後，先遷徙至塞國（今伊犁河流域），後又遭到受匈奴支持的烏孫人的進攻，再度西遷至大夏（今阿富汗北部）。在征服大夏後，月氏人於媯水（今阿姆河）北建立王庭並定居下來。媯水兩岸土地肥沃，月氏人豐衣足食，安居樂業，不再想東歸故鄉尋匈奴報仇。張騫在大月氏逗留一年多的時間，始終無法與大月氏人結盟，隻得失望而歸。鑒於出使時被俘的教訓，張騫沿著塔裏木盆地南邊與柴達木盆地北邊回朝，想避開匈奴，繞道從羌地而歸，結果還是被匈奴人捕獲。不久，軍臣單於去世，匈奴內部因爭奪單於之位發生爭鬥，張騫才乘機與隨員堂甘父一人逃回長安。
張騫建元三年出使，元朔三年（前126）方才回朝，曆經十三年漫長的時間，出使時的一百多人，隻有他和堂甘父二人生還。張騫出使的直接政治目的雖然沒有完成，但卻帶回西域那個神秘世界的真實情況。張騫將親身經過的中亞諸國，如大宛、大月氏、大夏、康居及其旁傳聞中的五六個大國和塔裏木盆地南邊諸國的地理、物產、風俗等詳細地向武帝作了彙報，引起武帝的濃厚興趣，立即拜張騫為太中大夫，堂甘父為奉使君。後來，張騫關於西域情況的彙報，被司馬遷收錄在《史記·大宛列傳》中，成為了解西域最寶貴的第一手資料。
就在張騫出使後的第六年，漢軍在馬邑設伏，誘擊匈奴，雖然謀泄未成，但卻促使漢匈戰爭全麵爆發；在他回國的前一年，漢軍發動“河南戰役”，收複河南地，但是匈奴依然占據河西地區，控製著中原通往西域的要道，往西南又可與羌人聯係，漢朝西北邊境仍然受到來至匈奴右部的嚴重威脅。在聽取了張騫的彙報之後，武帝急於溝通中原與西域的聯係，進而控製西域，斷絕匈奴的右臂。然而根據張騫出使西域的經驗，從中原西行必須要經過匈奴占據的河西地區。此外，還有一條通道，即由蜀地經身毒至大夏。原來張騫在大夏時，曾見過產於蜀地的邛竹杖和蜀布，非常驚奇，詢問大夏人後方知是由大夏商人從其東南的身毒國（古印度的別稱）販運而來。因此，張騫估計身毒在大夏東南，又有蜀物，肯定距蜀地不遠。所以，張騫向武帝建議另辟新徑，打通從蜀地經身毒至西域的西南新通道（即從今日四川、貴州、雲南經緬甸、印度至中亞）。張騫這一大膽的設想，又一次引起了武帝的賞識。早在建元六年（前135），武帝就曾耗費巨資經營西南，後因欲全力對付匈奴，放棄了這一計劃。元狩元年（前122），武帝根據張騫的建議，遣使再次通西南夷，尋求通往身毒的道路，終因西南地區少數民族的阻斷及道路艱險而未果。
西南新道既然不通，武帝遂決意打通河西走廊，於是在元狩二年發動“河西戰役”。驃騎將軍霍去病一舉擊潰匈奴駐守河西地區的渾邪王與休屠王，收複了河西地區，控製了中原通往西域的道路，在與匈奴奪取西域的鬥爭中取得了一個初步、但又極其重要的勝利。元狩四年，著名的漠北大決戰爆發。匈奴在連續失去河南、河西二個戰略要地之後，又遭到衛青、霍去病二路大軍的夾擊，匈奴東部的左賢王與中部的伊稚斜單於均受到重創，逃往漠北，從此“漠南無王庭”。匈奴在漢北部邊境全線失敗後，其勢力開始轉移到其右部，加強對西域的控製。