經過多年與匈奴的戰爭，漢朝已經控製河西走廊，正在積極進行漢武帝時對匈奴最大規模的一次戰役。幾年來，漢武帝多次向張騫詢問大夏等地情況，張騫著重介紹了烏孫到伊犁河畔後已經與匈奴發生矛盾的具體情況，建議招烏孫東返敦煌一帶，跟漢共同抵抗匈奴。這就是“斷匈奴右臂”的著名戰略。同時，張騫也著重提出應該與西域各族加強友好往來。這些意見得到了漢武帝的采納。
張騫第一次出使西域時了解到，烏孫與大月氏原本都是居住在祁連、敦煌一帶的小國。月氏曾攻殺烏孫國王。後來烏孫國王的兒子昆莫得到匈奴的支持，恢複國土，並率軍追擊已西遷於“塞人”土地的月氏，迫使月氏更西徙大夏。烏孫據有其地，又兼並鄰近小國，勢力日益強盛，對匈奴也就不大順從了。匈奴單於曾遣兵討伐，但反為昆莫所敗。此後，烏孫名義上雖然還附屬於匈奴，事實上已成為西域的一個獨立強國。張騫分析當時的西域形勢，認為西域隻有烏孫是可以同匈奴抗衡的力量；烏孫如能同漢朝合作，蔥嶺以西的大宛、康居、月氏和大夏等國，定會望風歸順。所以，當漢武帝征詢張騫的意見時，張騫提出了聯合烏孫，進一步打通西域，孤立匈奴的建議。漢武帝很快接受了張騫的意見，任命張騫為中郎將，派遣他第二次出使西域。
張騫於元狩四年（前119年）出發。這時河西走廊已暢通無阻。張騫率領一個由三百人組成的龐大使團，每人各備兩匹馬，分別作乘騎和駝載工具，牛羊萬計，攜帶巨量的黃金、錢幣和絲織品，浩浩蕩蕩向西行進。不久，順利到達烏孫。
張騫率領300人組成的使團，每人備兩匹馬，帶牛羊萬頭，金帛貨物價值“數千巨萬”，遊說烏孫王昆莫說明來意，提議烏孫能和漢朝締結同盟，共擊匈奴。並且表示，為了酬謝，漢朝願意做到如下三點：第一，漢朝送還烏孫東部的故地；第二，遣嫁漢公主為烏孫國王夫人；第三；兩國結為昆弟。
當時昆莫已年高氣衰，對漢朝的國勢又不夠了解，加之內部意見不一，未敢應允兩國結盟共擊匈奴。但表示十分願意同漢朝建立友好的關係。
張騫看到同烏孫的交涉，暫時無法獲得圓滿的結果，即派遣副使們持節分別去大宛、康居、大月氏、大夏、安息、身毒等國，代表漢朝同這些國家建立直接的友好往來和外交關係，以進一步擴大漢朝在蔥嶺以西的影響。當時西域各國都已了解漢朝為一大國，漢使所到之處，無不受到熱烈歡迎。據說，當漢使達安息時，安息國王曾派大臣率二萬騎到距離都城數千裏的東部邊界迎接，中間經過的數十座城市，夾道歡迎和圍觀漢使的群眾，絡繹不絕。從此，漢與西域的交通建立起來。
公元前115年，張騫回到漢朝後，拜為大行令，第二年死去。他死後，葬於故鄉。
張騫雖死，功業永存。大漢同西域的關係更一步發展。
公元前105年，烏孫王以良馬千匹為聘禮向漢求和親，武帝把江都公主細君嫁給烏孫王。細君死後，漢又以楚王戊孫女解憂公主嫁給烏孫王。解憂的侍者馮鐐深知詩文事理，做為公主使者常持漢節行賞賜於諸國，深得尊敬和信任，被稱為馮夫人。由於她的活動，鞏固和發展了漢同烏孫的關係。公元前60年，匈奴內部分裂，日逐王先賢撣率人降漢，匈奴對西域的控製瓦解。漢宣帝任命衛司馬鄭吉為西域都護，駐守在烏壘城（位於今新疆輪台東），這是漢朝在蔥嶺以東，今巴爾喀什湖以南的廣大地區正式設置行政機構的開端。
自從張騫第一次出使西域各國，向漢武帝報告關於西域的詳細形勢後，漢朝對控製西域的目的由最早的製禦匈奴，變成了“廣地萬裏，重九譯，威德遍於四海”的強烈願望。為了促進西域與長安的交流，漢武帝招募了大量身份低微的商人，利用政府配給的貨物，到西域各國經商。這些具有冒險精神的商人中大部分成為富商巨賈，從而吸引了更多人從事絲綢之路上的貿易活動，極大地推動了中原與西域之間的物質文化交流，同時漢朝在收取關稅方麵取得了巨大利潤。出於對匈奴不斷騷擾與絲路上強盜橫行的狀況考慮，加強對西域的控製，漢宣帝神爵二年（公元前60年），設立了漢朝對西域的直接管轄機構——西域都護府。以漢朝在西域設立官員為標誌，絲綢之路這條東西方交流之路開始進入繁榮的時代。