但是，郅支單於究竟是遠在漠北，中間又有呼韓邪的阻撓，與漢朝的聯係與溝通遠不如在漠南呼韓邪那樣快捷便利；再者，郅支又自恃勢力比呼韓邪強盛，所以附漢的願望也不如呼韓邪那樣誠懇急迫。雖然在甘露三年、四年，郅支單於兩次遣使奉珍寶入漢朝獻，但是漢朝因為呼韓邪單於的親自入朝而逐漸疏遠郅支，開始冷落郅支的使者。呼韓邪對郅支與漢朝通好的動態也非常重視，為了鞏固與漢朝已經建立起來的友好關係，在黃龍元年（前49）春正月，呼韓邪再次入漢朝見宣帝，受到了與初次入漢時的禮遇與賞賜。同年十二月，宣帝去世，元帝即位。初元元年（前48）六月，呼韓邪上書宣稱民眾饑困，請求漢廷援助，其中也不乏試探元帝即位後對他的態度的因素；元帝立即命令雲中與五原郡輸穀兩萬斛資助，以表示朝廷對他一如既往的全力支持。顯然，郅支與呼韓邪在爭取漢朝的支持的競爭中，已經明顯地敗下陣來。
郅支單於見到呼韓邪單於與漢朝的關係日益親密，並得到了朝廷出兵輸穀的全力支持，自度既無法間離漢與呼韓邪的關係，又缺乏統一匈奴的實力，於是率部眾從右地再向西遷徙至今伊犁河流域一帶，遣使至烏孫，企圖勸誘母親為匈奴人的小昆彌（烏孫王號）烏就屠叛漢。不料烏就屠不為所動，斬殺郅支來使，送首級於漢西域都護府處，同時發兵八千人迎擊郅支，被郅支擊敗。郅支隨後又北征烏揭（在今額爾齊斯河上遊及我國新疆北端）、堅昆（在今葉尼塞河上遊），西征丁令（指當時活動於額爾齊斯河上遊與巴爾咯什湖之間的東部丁令），兼並了三國之兵，在堅昆設立王庭，勢力稍微得以恢複。此時，郅支單於距離漢朝更加遙遠，愈加怨恨漢朝支持呼韓邪而不援助自己，於是困辱漢朝使者江乃始等，並遣使赴漢，以朝貢為名，請求漢朝遣還其侍子。初元四年（前45），元帝應郅支的請求，遣衛司馬穀吉等送還郅支單於的侍子。郅支見其子安全而歸，再無後顧之憂，索性殺死漢使穀吉等人泄憤，從而與漢朝公開為敵。然而郅支的實力究竟有限，又聽說呼韓邪日益強盛，深恐受到襲擊，因此想再度西遷遠避漢朝與呼韓邪。恰好在此時康居王屢受烏孫的欺淩，想依靠匈奴的聲威恫嚇烏孫，於是遣使至堅昆，準備迎接郅支到康居（在今哈薩克斯南部及錫爾河中下遊）。由於害怕遭受攻擊而惶惶不可終日的郅支單於突然受到康居王的邀請，大喜過望，立即率部眾西遷，途中又受到嚴寒的襲擊，到達康居時部眾僅剩三千多人。
康居王素來尊敬郅支，所以在郅支抵達康居後，將女兒嫁與郅支；為了報答康居王的好意，郅支也將女兒嫁與康居王。郅支隨即借兵於康居，數次出擊烏孫，深入到烏孫都城赤穀城（位於今伊塞克湖西南的伊什提克），殺掠人民，驅掠牲畜而去。烏孫懾於郅支的兵威，不敢出兵追擊，烏孫西部千裏之地空虛，無人再敢居住遊牧。
郅支剛剛在康居立穩根基，狂傲殘忍的性格立刻暴露無遺，肆意欺辱康居王，又屠殺康居王女、貴人及百姓數百人，肢解屍體，投入都賴水（今塔拉斯河）。郅支又大肆征發康居百姓，在都賴水畔修築郅支城，每天被迫服苦役者五百多人，曆時二年方才完工。郅支又遣使者分赴大宛諸國，勒令納貢財物，諸國都不敢抗拒。
就在郅支單於殺漢使穀吉等，西遷康居後，漢廷見穀吉等一去不返，誤以為在邊塞被呼韓邪部下所殺，因此嚴厲追查呼韓邪的來使。呼韓邪蒙受不白之冤，不免心存疑懼。等到漢廷查清事實真相後，為了安撫呼韓邪單於，於永光元年（前43）派遣騎都尉韓昌、光祿大夫張猛送還呼韓邪侍子，以免其生疑。這時，呼韓邪在漢朝大力扶持之下，元氣已經恢複，前來歸附的部眾日益繁盛，也有足夠的兵力自衛，不需再畏懼郅支單於，加之塞下野獸射獵將盡，因此想北歸單於庭。韓昌、張猛唯恐呼韓邪北歸後難以約束，於是與呼韓邪及大臣登山鄭重盟誓：
自今以來，漢與匈奴合為一家，世世毋得相詐相攻。有竊盜者，相報，行其誅，償其物；有寇，發兵相助。漢與匈奴敢先背約者，受天不祥。令其世世子孫盡如盟。
再說郅支在康居的殘暴統治，肆意欺淩烏孫、大宛諸國，不僅激起康居貴族與百姓的怨恨，而且也直接威脅到漢朝在西域的利益。但是，元帝一直憂慮距康居路途遙遠，不願耗費巨資出兵征伐，所以前後三次遣使至康居，請求郅支歸還穀吉等人的屍體，同時勸說郅支重新歸附。然而，這一切努力都被郅支毫不容情地予以拒絕。事已至此，漢朝除了動用武力之外，再也沒有其他的選擇。建昭三年（前36），代理西域都護、騎都尉甘延壽，副校尉陳湯奉命出使西域。這時，西域的形勢很不穩定，已經牢固控製了康居的郅支單於又力圖降服大宛、烏孫，並以三國為基地，重新恢複匈奴在西域的統治。陳湯麵對這種形勢，認為西域原來一直臣屬於匈奴，對郅支也存有畏懼之心，如果不堅決地對郅支采取軍事行動，不過數年，西域諸國將全麵瓦解。甘延壽完全同意陳湯的見解，但是想奏請朝廷批準；而陳湯則認為遠在千裏之外的朝廷大臣們不可能全麵了解西域的局勢，一旦不予批準，將坐失良機。於是二人矯製征發西域諸國兵及漢屯田於車師的戊己校尉兵共四萬多人，分兵兩路，開始了遠征康居的軍事行動。