經過一番籌備以後，至元二十九年（1292年）春天，治河工程開始動工。開工那一天，忽必烈為了表示他對新運河工程的重視，特地命令自宰相以下在京的文武官員，都要帶頭攜帶畚箕和鐵鏟參加勞動，作為倡導。這些高官對治河工程和勞動根本不懂，因此忽必烈要求他們一律聽候郭守敬的指揮調度。這一天，擔任工程總指揮的郭守敬也格外興奮，他很有禮貌地向大家介紹了這項工程的方案，說明了各部工程的做法。在各有關官員的分領之下，破土動工。
這次重新整治運糧河，針對原來從高梁河引人閘河的水量不夠航運，必須另找較豐富的新水源這一關鍵，郭守敬在沿西山一帶的天然泉水水源中，找到了大都西北相距60裏的昌平縣東南白浮村神山腳下的白浮泉，水量比較充足。新水源找到了，他在規劃中沒有東南向把水徑直引往大都，而是先使水道西行，再轉而往南，然後折向東南到甕山泊。
郭守敬這樣做，有兩個意圖。一是北京以西的西山，自今妙峰山、香山、玉泉山至石景山、南山，一路上到處有泉水和伏流。新開河道依山腳折向南行，昌平附近還有王家山泉、虎眼泉等沿途又經縣南的雙塔河、孟村一畝泉、泄水河、蕭家河及玉龍泉等處，可以攔截各處山泉，使水量更加充足。這些水又是較清澈的泉水，不至於很快地沉積泥沙，淤阻河水。
二是這樣可以適合地形，使河床有較平緩的坡度。因為神山泉的標高，按現今黃海零點起算，約在+60米上下。大都城的西北，標高近於+50米，高程相差十餘米之多。城東南部則下降到略超過+40米。近年來在北京西直門處，對元代和義門甕城的發掘表明，地麵標高古今稍有變化，但相差並不太大。如果新渠徑直通向大都，那麼先要在短短的20裏內，下降到標高低於+40米的沙河河穀，然後又在中間上升到+50米的高地，隨即再下降到標高約為+40米的清河河穀。在抵達大都城以前，還得上升好幾米，才能進城。這樣的高低起伏，兩處河穀的髙程甚至低於大都，不但水流難以導人都城，而且會在中途沿兩河河穀順流東去，最後泄入榆水(今溫榆河)，大都城就落空了。
如果河渠從神山先向西行，然後南下，渠水便可繞過比較複雜的河穀地形，大致沿著50米的等高線平穩地一路順流向南。中間一些地方地勢稍高，但非常有限。甕山附近的標高，是+50米，而且彙聚了山旁泉水，水量增加，下段的渠道，便可利用原有的河流。這樣，可以較有把握地保證運糧河和大都給水工程所需的水量。
由於西山山坡相當陡，有好幾處地方在短短幾裏路之內，便東向下降三四十米，為此郭守敬特地在60多裏長的渠道東岸，修築了一條土堤，一些由此東流的水河均被阻斷，以便引水人渠，而不致沿原有溪澗橫流向東流入榆水。這條堤堰，叫做白浮堰。
整個金代，閘河水源始終沒能得到圓滿解決。現在，從昌平白浮引水輾轉南來，這個長期以來存在的難題終於很好地解決了。我國古代，測量學是極為發達的。近年在長沙馬王堆西漢初期墓葬中發現大幅湘南地形圖，畫得相當準確。唐德宗李適貞元元年（785年）到十七年（801年）間，出現了按比例尺繪製的用不同顏色注明古今地名對照的全國地圖，這就是賈耽所繪《海內華夷圖》。最晚在8世紀中期，就已經有明確的文字記載，說明如何用水準器和水準標杆進行水平測量。北宋時代，對視距測量和水平測量作了詳細的描述，並繪出儀器及附件的圖畫傳到現在。郭守敬曾經作過大麵積的地形測量和長距離的水平測量，他在這方麵是富有經驗的。昌平到大都的引水工程中，毫無疑問他是作了包括高程在內的全麵地形測量，並在這基礎上進行規劃設計的。
工程進展相當快。從至元二十九年（1292年)春天動工，終於在至元三十年（1293年）的秋天，全部工程竣工了。河流全長164公裏。整個工程花了一年半時間，用了285萬個工日，耗費錢鈔152萬錠和糧食38700石。
這年八月，當清澈的泉水順著白浮堰流到大都城的時候，人們歡呼雀躍，一齊擁到河畔。愛鬧的年輕人，情不自禁地跳到河裏，打起水仗來。沿岸店鋪的掌櫃和夥計，燃放鞭炮，敲鑼打鼓，祈願運河修通後給他們帶來發財的機會，生意興隆。上年紀的老人在兒孫攙扶下，也來到河畔。
“糧船到了!”消息傳來，人們再次聚集在積水潭邊，爭著看第一次從海運和河運兩路駛進京城的大船。
工程結束沒有多長時間，元世祖忽必烈從上都回來路過積水潭邊，看到新運河完工了，方圓幾十裏的積水潭布滿了糧船。朝思暮想的計劃實現了。看著這一番盛況，忽必烈心中充滿了喜悅。
一位內侍忽然想起了什麼，說:“陛下還得給新運河起個河名呢。”
“對，得起個名才好。”忽必烈說。他略有所思以後，說道：“這樣，因為新運河不僅為我們大元解決了漕運這一至關重大的問題，而且還促進南貨北銷，繁榮大都城的經濟，就叫它通惠河吧!”
“好！這名字起得好!”眾臣異口同聲。他掃視了一下周圍的人群，見郭守敬正獨自在樓角上倚欄遠眺，凝神地想著什麼，就讓人傳來郭守敬。忽必烈愛撫地說：“郭愛卿，你30年來，治河渠，修曆法，造器械，為國家鞠躬盡瘁。這次治河工程，也是千古未有的功業，寡人特賞賜你12500貫錢鈔（折合6000餘兩銀子）。左右，快給郭愛卿慶功酒一杯!”郭守敬接過酒杯，謝恩後，一飲而盡。這時，忽必烈又問：“剛才愛卿在城樓上想些什麼?”“臣想，新運河水還有餘力，如果再修一河環繞京城，使糧船直駛四門卸貨，那就更好了。”郭守敬接著又說：“臣擬定在澄清閘稍東的地方，引水與北壩河連接，以後在麗正門的西邊再造一座水閘，這樣便可溝通全京城的水路，使船隻可以環城通航。”忽必烈一聽，非常高興。“乘今天眾臣都在，寡人命郭愛卿以原職兼提調通惠河漕運事。”
後來，由於元朝統治階級內部矛盾的日益尖銳，郭守敬修環城河的方案未能付諸實施。
至元三十一年（1294年），是忽必烈執政的最後一年。他為了獎勵郭守敬在各門學術上的巨大成就，升任他為昭文館大學士、知太史院事。
至元三十一年（1294年），80歲的元世祖忽必烈去世了。同年由他的孫子鐵穆耳繼承皇位，這便是曆史上的元成宗。
成宗繼位後的第五年，也就是大德二年（1298年），下詔書把郭守敬召到上都去商議開鑿鐵幡竿渠，以防山洪暴發。
上都西、北兩側群化縮亙，經常下雨，連年暴發山洪。朝廷決定在上都西北郊的鐵幡竿嶺腳下，開鑿一條人工河渠向南通到溧河，以排泄山洪。