武帝對他仍很器重，不時向他詢問有關西域的情況。
張騫很明曉武帝的心意，於是找了個機會再次向武帝進言：“厚賂烏孫”，遣嫁漢公主，“結昆弟”，以“斷匈奴右臂”，使大夏等國“招來而為外臣”。
武帝聽後很感興趣，當即拜張騫為中郎將，命他再度出使西域。
這一次規模巨大，使臣每人備有兩匹馬，並攜帶牛羊數萬，所帶金帛亦數千巨萬，而且使臣中有許多人都被授予持節副使的頭銜，可以代表正使張騫本人去訪問西域各國。
由於河西走廊當時已打通，所以使團行進較第一次順利多了。
他們西出敦煌，經鄯善、焉耆、龜茲而至溫宿（今新疆烏什），再由溫宿直插西北，越過巴達裏山口而至烏孫的赤穀城（今伊什提克）。
張騫使團到達之時，正值烏孫政局動蕩之際：烏孫昆莫年老，太子早夭。
昆莫本欲立長孫岑陬為太孫，但卻遭中子大祿擁兵反對。
無奈，昆莫隻得與太孫分兵自保，這樣一來，烏孫一國之兵分成三派，王權大大削弱了。
當得知張騫一行的來意之後，昆莫顧慮重重，猶豫不定。
不過，鑒於漢朝盛情相待，他還是決定派向導和翻譯護送張騫歸國，並派出一支幾十人組成的回訪使團，攜帶當地特產——幾十匹烏孫駿馬隨張騫歸漢以示答謝，並表示希望與漢加強聯係以增進了解。
在與烏孫談判的同時，張騫還把跟隨他的那些副使們分別派往大宛、康居、大月氏、大夏、安息、身毒、於闐等地。
考慮到一時還不能和烏孫正式結盟，張騫就於出使當年（前１１５）返回漢朝。
事實上，他所期望的出使目的這一次仍未達到。
但烏孫使團尤其是烏孫寶馬的入漢仍使武帝興奮異常，他升任張騫為大行，掌管外事工作。
兩次出使的艱辛與坎坷使張騫身體狀況受到很大影響，特別是兩次出使都沒有完成預期設想，有負聖意，這使他的心情亦很苦悶。
在回到長安後一年多，這位開拓西域的探險家便帶著無盡的遺憾溘然長逝。
一年後，當初隨張騫出使的副使們紛紛歸來，其中大多數人都引來了大批的回訪使節。
這些來自異域說著不同種類語言、穿著怪異的衣服、容貌不同中土的使臣和他們奉上的種種珍奇，使武帝龍顏大悅，長安城裏也轟動一時。
西漢王朝與西域各國的頻繁往來，引起了匈奴的注意。
他們不甘心放棄西域，於是積極與羌人聯係，並加強對西域東部樓蘭、姑師等國的控製，並極力阻殺漢使，力圖再次切斷漢與西域諸國的聯係。
元鼎六年（前１１１），武帝揮兵西進，征服羌中，擊垮了漢西北與匈奴聯係最緊密的一支力量。
三年後，漢軍又征樓蘭，破姑師，並修建原有長城、烽燧使之延伸至玉門關一線，從而從軍事上保證了西行之途的暢通無阻。
同時，漢軍的不斷勝利，使西域各國見證了西漢王朝的強盛，他們對漢態度也發生了根本性轉變。
元封六年（前１０５）烏孫昆莫獵驕靡主動遣使入漢，以千匹駿馬為聘禮求娶漢公主。
武帝親自為烏孫馬定名為“天馬”，並以江都王劉建之女細君公主出嫁烏孫昆莫，陪嫁人員數百，贈送更豐。
此後，武帝又以楚王劉戊孫女解憂公主再次遠嫁烏孫。
解憂公主在烏孫受到至高的禮遇，其與昆莫所生子女亦是烏孫顯赫人物，有的成為國王，有的成為王後，這對於進一步擴大漢王朝對西域的影響都是具有深遠意義的。
武帝在以聯姻和懷柔方針政策發展、鞏固與烏孫聯盟的同時，又不斷派大批使節和商團深入西域各地，極力樹立大漢帝國在西域的崇高威望，加強東西文化、貿易、技術的交流。
匈奴此間仍不放棄對西域的控製，與大宛勾結起來追殺中西使節，而大宛自恃距漢遙遠且路途艱險，貪漢財物而輕視漢使。
加之與漢朝在馬匹交易上分歧嚴重，並導致漢使再度被殺，財貨被掠。
結果，一場新的戰爭又不可避免地爆發了。
經過四年的殘酷征戰，漢軍在付出沉重代價之後最終征服了大宛，並擊垮其他親匈勢力。
這一係列漢軍遠征的勝利對西域的衝擊空前，大宛以東各國紛紛遣子弟入貢為質於漢廷，表示依附。
武帝則又令西築亭障，沿綿西至鹽澤。
此外還在輪台（今屬新疆）和渠犁（今新疆庫爾勒）置卒屯田，設使者校尉領護，司職供給，保護中西使者。
通過聯合烏孫征服大宛等一係列經略，西漢王朝到武帝統治後期，基本上在烏孫、大宛以東，亦即巴爾喀什湖以東以南的廣大地區，初步建立起具有一定規模的統治框架，為古代中國西部版圖之形成奠定了最初的基礎。
在與西域的交往過程中，漢朝與西方的物質、文化交流有了突破性的發展。
中西交流的大門從此徹底敞開了，“使者相望於道”的國際交流熱潮出現了。
這條被１８世紀歐洲學者冠以“絲綢之路”美譽的國際通道，使中國文明以絲綢等商品為媒介，遠播萬裏，向當時的世界展示了西漢帝國的風采，表達了中國人民渴望友好往來的情誼。
漢代通西域的道路基本上形成兩大線路：由長安出發，北道經平涼、固原沿祖厲河北上，於景泰東側渡黃河，過景泰、古浪、武威、永昌至張掖、敦煌；南道經鳳翔、隴縣至張掖、敦煌。
敦煌西有玉門、陽關兩關口，由此西行，道又分南北兩線。
南道經鄯善傍南山北、陂河西行至莎車；北道經姑師（後稱車師前王廷）隨北山，西行至疏勒。
所謂南山、北山主要是指其分別取道天山南北二麓來劃分的。
“絲綢之路”的正式開通，是中西交流史上的一件大事，同時也是中西文化交流的一個新起點。
西域、西亞甚至於歐洲的物產、工具、文化源源輸入中國，對於漢王朝人民的物質生活、精神文化絲綢之路示意圖都是極大地豐富，而古中國的鑿井、紡織技術也通過這條道路傳向西部。
當初，張騫應募出使西域是為謀求個人功名利祿，其使命則在於實現政治、軍事聯盟。
但他與他的後繼者們在客觀上卻打開了一扇實現東西文化交流的大門。
曆史來不及告訴博望侯他所做的一切的深遠意義所在，但曆史會記住張騫和所有為開發西域而戰鬥、拚搏、奉獻了生命的開拓者們；會記住他們所代表的那種渴望交流、積極進取的時代精神；會記住這一條永恒的中西文化交流之路——絲綢之路。