大运河最早始建于春秋时期。

春秋吴国为了伐齐国，吴王夫差命人开凿邗沟。其目的是为了运送军队北伐齐国。后来魏惠王开凿的鸿沟，其目的也是为了军事行动。

直到隋朝时期，国家统一，运河的作用从军事上向经济上转移，为了控制江南广大地区，使长江三角洲地区的丰富物资运往洛阳，隋炀帝杨广便下令开凿了隋唐大运河。

现今的京杭大运河就是以隋唐大运河为基础建造的，隋唐大运河一直延续到北宋，北方沦陷，南宋统治者为了防金兵南下，破坏了运河上的各种设施，再加上黄河决口改道，连接洛阳的通济渠逐渐淤塞为陆地。

元朝定都北京后，国家政治中心转移，便舍弃了洛阳段的通济渠，开始开凿京杭大运河。