智伯一計得逞，滿心喜悅，隨即又向魏氏索要土地。魏桓子的本意當然也不願意，謀臣任章問為什麼不願意，桓子說，無緣無故地索要土地，無法答允。任章說：“無故索地，天下必懼；君予之地，知伯必驕。驕而輕敵，鄰國懼而相親。以相親之兵，待輕敵之國，知氏之命不長矣！”任章從總體形勢上分析，智伯索地得逞，會狂傲，狂傲必然輕敵；被索者會自然而然地聯合為一個陣營，共同對抗智伯。以聯合陣營的強大實力來對付一個輕敵狂傲的敵人，勝負的結局顯而易見。他還講了“將欲敗之，必姑輔之；將欲取之，必姑與之”的辯證思路，勸魏桓子不必為愛惜領地而單獨與智氏對抗，一定要等形勢變化到對智伯不利時再說。魏桓子聽從了任章的勸告，也送給智伯一個萬家之邑。
智伯輕而易舉得到兩個萬家之邑，如法炮製，向趙襄子索要蔡、皋狼之地。襄子斷然拒絕。智伯索地，明顯是要蠶食三家。蠶食不成，即變為鯨吞。智伯當即率領韓、魏二氏，以三家的甲兵攻伐趙氏，意欲一舉而翦滅之。
趙襄子見形勢於己不利，決定退守以避敵鋒芒。但是，退到哪裏去呢？臣下建議，長子（今山西長子）城垣厚實，修整完好，距離不遠，可以據守。襄子說：“民罷力以完之，又斃死以守之，其誰與我？”他認為當地人民修繕城池已經疲憊不堪，如果在那裏死守，恐怕民心不穩。又有人建議退到邯鄲（今河北邯鄲市），那裏倉庫充實。襄子說：“浚民之膏澤以實之，又因而殺之，其誰與我？”倉庫充實是因為搜刮民脂民膏，當地人民被剝奪壓榨已苦不堪言，再讓人家浴血守城，怎麼會與自己同心協力？他最後決定：“其晉陽（今太原市南晉源鎮一帶）乎！先主之所屬也，尹鐸之所寬也，民必和矣。”
晉陽是趙氏經營多年的根據地，以前邯鄲叛亂時，範、中行氏支持叛者，趙簡子就曾退保晉陽。襄子所說“尹鐸之所寬”，指的是趙氏對晉陽地區有特殊的優惠政策。當初趙簡子派尹鐸治理晉陽，尹鐸就專門請示過，在晉陽是為趙氏輸送財賦呢，還是建立穩固的根據地？簡子明確肯定是後者。因而尹鐸減少了上交賦稅的戶數，大大減少了實際上的征收稅額，民眾得到實惠。襄子所謂“先主之所屬”，是先主趙簡子特別囑咐過襄子：“晉國有難，而無以尹鐸為少，無以晉陽為遠，必以為歸。”晉陽就是為了防備不測而經營的，名義上收取的財賦雖少，卻是最為可靠的固守壁壘。所以襄子認為隻有晉陽的民心可用，撤退到了晉陽。
襄子巡視晉陽一周，見城池堅固，府庫充實，倉廩豐盈，隻是缺乏禦敵所用的箭矢。張孟談告訴他，早年董安於修建晉陽時，深謀遠慮，建築宮室牆垣的材料都可以用來造箭杆，銅鑄的柱礎可以用來造箭鏃。於是一切齊備，嚴陣以待三家來犯。
智伯統率三家聯軍猛攻晉陽3月不下，又圍困一年多未克。聯軍頓兵堅城之下，漸漸趨於被動。而晉陽城中軍民卻是同仇敵愾，士氣始終高昂。
智伯眼見戰事拖延兩年而進展甚微，不禁焦急萬分。他苦苦思索，終於想出引晉水（汾水）淹灌晉陽城的計策，企圖用它來攻破晉陽堅城。
於是，智伯命令士兵在晉水上遊築壩，造起一個巨大的蓄水池，再挖一條河通向晉陽城西南。又在圍城部隊的營地外，築起一道攔水壩，以防水淹晉陽的同時也淹了自己的人馬。工程竣工後，正值雨季來臨，連日大雨不止，河水暴漲，把蓄水池灌得滿滿的。智伯下令，掘開堤壩，一時間大水奔騰咆哮，直撲晉陽城。很快地晉陽全城都被浸沒在水中了。城內軍民隻好支棚而居，懸鍋而炊，病餓交加，情況十分危急。但盡管這樣，守城軍民始終沒有動搖鬥誌，仍堅守著危城。
晉陽城被水所困，“城不浸者三版（二尺為一版）”。智伯見趙氏指日可滅，躊躇滿誌，帶著魏桓子、韓康子巡視水情，忘乎所以地說：“吾乃今知水可以亡人國也。”魏、韓二人聽了這話，馬上聯想到自家的事，魏桓子想到汾水可以灌安邑（今運城市附近，屬魏），韓康子想到絳水可以灌平陽（今臨汾市，屬韓）。魏桓子用胳膊肘暗捅韓康子，二人心領神會，已包藏著反戈一擊的殺機。
智伯對韓、魏二家的動靜毫不在意，滿以為大功垂成，韓、魏二氏不足為慮。倒是他的臣屬中有個叫郤疵的人注意到一些端倪，提醒說：“韓、魏之君必反矣。”智伯不解，郤疵給他解釋說，原來已經和兩家約好，攻滅趙氏，三分其地。現在晉陽城馬上要被攻克，兩家之君不但麵無喜色，反而有憂慮之態。如果他們真有這種顧慮，那是一定要反的。智伯不但不信郤疵之言，並且將他的話轉告了魏桓子和韓康子，可能也包含著試探之意。韓、魏二君當然矢口否認，還說這是讒臣替趙氏遊說，離間三家的關係；真是那樣的話，韓、魏兩家放著就要到手的趙氏土地而不顧，卻去冒風險同智氏作戰，豈不是很愚蠢？智伯相信了韓、魏二君的狡辯。二君出門，郤疵進門，對智伯說，他說的那些話怎麼能告訴韓、魏二君呢？智伯反問郤疵怎麼會得知，郤疵說從那兩個人的神態上就可以看出來。智伯始終不相信韓、魏兩家會反，郤疵自己想到個脫身避禍之計，請求到齊國出使去了。