開鑿這兩條最長的渠道，前後用了6年的時間。這樣就完成了大運河的全部工程。隋代的大運河，史稱“南北大運河”，貫穿了河北、河南、江蘇和浙江等省。運河水麵寬30米至70米，長約2700多千米。
唐代的運河建設，主要是維修和完善隋代建立的這一大型運河體係。同時，為了更好地發揮運河的作用，對舊有的漕運製度，還做了重要改革。
隋文帝時期穿鑿的廣通渠，原是長安的主要糧道。當隋煬帝將政治中心由長安東移洛陽後，廣通渠失修，逐漸淤廢。唐代定都長安，起初因為國用比較節省，東糧西運的數量不大，年約幾十萬石，渭水尚可勉強承擔運糧任務。
後來，京師用糧不斷增加，嚴重到了因為供不應求，皇帝隻好率領百官和軍隊東到洛陽就食的地步。特別是武則天在位期間，幾乎全在洛陽處理政務。
於是，在742年，啟動了重開廣通渠的工程。新水道名叫“漕渠”，由韋堅主持。
當時在鹹陽附近的渭水河床上修建興成堰，引渭水為新渠的主要水源。同時，又將源自南山的灃水和滻水也攔入渠中，作為補充水源。
漕渠東至潼關西麵的永豐倉與渭水會合，長150 多千米。漕渠的航運能力較大，漕渠貫通當年，即“漕山東粟四百萬石”。
將山東粟米漕運入關，還必須改善另一水道的航運條件，即解決黃河運道中三門砥柱對糧船的威脅問題。這段河道水勢湍急，溯河西進，一船糧食往往要數百人拉纖，而且暗礁四伏，過往船隻，觸礁失事近乎一半。
為了避開這段艱險的航道，差不多與重開長安、渭口間的漕渠同時，陝郡太守李齊物組織力量，在三門山北側的岩石上施工，準備鑿出一條新的航道，以取代舊的航道。
經過一年左右的努力，雖然鑿出了一條名叫“開元新河”的水道，但因當地石質堅硬，河床的深度沒有達到標準，隻能在黃河大水時可以通航，平時不起作用，三門險道的問題遠遠沒有解決。
通濟渠和永濟渠是隋代興建的兩條最重要的航道。為了發揮這兩條運河的作用，唐代對它們也做了一些改造和擴充。
隋代的通濟渠，唐代稱“汴河”。唐代在汴州東麵鑿了一條水道，名叫“湛渠”，接通了另一水道白馬溝。白馬溝下通濟水。這樣，便將濟水納入汴河係統，使齊魯一帶大部分郡縣的物資，也可以循汴水西運。
唐帶對永濟渠的改造，主要有以下兩個工程。
一是擴展運輸量較大的南段，將渠道加寬至60米，浚深至8米，使航道更為通暢；二是在永濟渠兩側鑿了一批新支渠，如清河郡的張甲河，滄州的無棣河等，以深入糧區，充分發揮永濟渠的作用。
對唐朝朝廷來說，大運河的主要作用是運輸各地糧帛進京。為了發揮這一功能，唐代後期對漕運製度做了一次重大改革。唐代前期，南方征租調配由當地富戶負責，沿江水、沿運河直送洛口，然後政府再由洛口轉輸入京。
這種漕運製度，由於富戶多方設法逃避，沿途無必要的保護，再加上每一艘船很難適應江、汴河的不同水情，因此問題很多。如運期長，從揚州至洛口，曆時長達9個月。又如事故多、損耗大，每年都有大批的舟船沉沒，糧食損失非常嚴重。
安史之亂後，這些問題更為突出。於是，從763年開始，禦史劉晏對漕運製度進行改革，用分段運輸代替了直接運輸。
當時規定：江船不入汴河，江船之運至揚州；汴船不入河，汴船之運至河陰；河船不入渭，河船之運至渭口；渭船之運入太倉。承運工作也雇專人承擔，並組織起來，10船為一綱，沿途派兵護送等。
分段運送，效率大大提高，自揚州至長安40天可達，損耗也大幅度下降。
梁、晉、漢、周、北宋都定都在汴州，稱為“汴京”。北宋曆時較長，為進一步密切京師與全國各地經濟、政治聯係，修建了一批向四方輻射的運河，形成新的運河體係。
它以汴河為骨幹，包括廣濟河、金水河和惠民河，合稱“汴京四渠”。並通過汴京四渠，向南溝通了淮水、揚楚運河、長江和江南河流等；向北溝通了濟水、黃河和衛河。
五代時期，北方政局動蕩，頻繁更換朝代，在短短的53年中，曆經後梁、後唐、後晉、後漢、後周5個朝代，對農業生產影響很大。而南方政局比較穩定，農業生產持續發展。
北宋時期，朝廷對南糧的依賴程度進一步提高。汴河是北宋南糧北運的最主要水道。汴京每年調入的糧食高達600萬石左右，其中大部分是取道汴河的南糧。
因此，北宋時期朝廷特別重視這條水道的維修和治理。例如991年，汴河決口，宋太宗強調說：“東京養甲兵數10萬，居民百萬家，天下轉漕，仰給在此一渠水，朕安得不顧。”他率領百官，一起參加堵口。
元代定都大都後，要從江浙一帶運糧到大都。但隋代的大運河，在海河和淮河中間的一段，是以洛陽為中心向東北和東南伸展的。為了避免繞道洛陽，裁彎取直，元代就修建了濟州、會通和通惠等河。
元代開鑿運河主要有以下幾項重大工程：
一是開鑿濟州河和會通河。從元代都城大都至東南產糧區，大部分地方都有水道可通，隻有大都和通州之間、臨清和濟州之間沒有便捷的水道相通，或者原有的河道被堵塞了，或者原來根本沒有河道。
因此，南北水道貫通的關鍵就是在這兩個區間修建新的人工河道。
在臨清和濟州之間的運河，元代分兩期修建，先開濟州河，再開會通河。濟州河南起濟州，北至須城，長75千米。人們利用了有利的自然條件，以汶水和泗水為水源，修建閘壩，開鑿渠道，以通漕運。
會通河南起須城的安山，接濟州河，鑿渠向北，經聊城，至臨清接衛河，長125千米。它同濟州河一樣，在河上也建立了許多閘壩。這兩段運河鑿成後，南方的糧船可以經此取道衛河、白河，到達通州。
二是開鑿壩河和通惠河。由於舊有的河道通航能力很小，元代很需要在大都與通州之間修建一條運輸能力較大的運河，以便把由海運、河運集中到通州的糧食，轉運至大都。於是相繼開鑿了壩河和通惠河。
首先興建的壩河，西起大都光熙門，向東至通州城北，接溫榆河。光熙門是當時主要的糧倉所在地。
這條水道長約20多千米，地勢西高東低，差距20米左右，河道的比降較大。為了便於保存河水，利於糧船通航，河道上建有7座閘壩，因而這條運河被稱為“壩河”。
後來因壩河水源不足，水道不暢，元代又開鑿了通惠河。
負責水利的工程技術專家郭守敬，先千方百計開辟水源，並引水到積水潭蓄積起來，然後從積水潭向東開鑿通航河段，經皇城東側南流，南至文明門，東至通州接潮白河。這條新的人工河道，被忽必烈命名為“通惠河”。
通惠河建成後，積水潭成了繁華的碼頭，“舳艫蔽水”，熱鬧非常。
元代開鑿運河的幾項重大工程完成後，便形成了京杭大運河，全長1700多千米。京杭大運河利用了隋代的南北大運河不少河段。如果從北京至杭州走運河水道，元代的比隋代的縮短了900多千米的航程，是最長的人工運河。
大運河建成之後，元大都的糧食、絲綢、茶葉和水果等生活必需品，大部分都是依賴大運河從南方向京城運輸。而至明代，建設北京城的磚石木料，也是通過大運河運抵京城，於是民間老百姓就形象地說北京城是隨水漂來的。