1998年，拱墅区政府正式提出了建造大运河博物馆的设想。首先面临的问题就是选址。当时倾向性的意见是，这个博物馆应该建在古运河边上。因此事先物色了拱宸桥、高家花园、霞湾巷三个点供论证，最后，选址拱宸桥畔的建议被采纳。因为拱宸桥始建于明代崇祯年间，是杭州市区现存最古老的石桥，有“古运河第一桥”之称，一向被视为大运河南端的终点标志。将大运河博物馆建在古拱宸桥畔，毗邻千年古运河，的确是最合适的选择。当时就有专家提出，应该将中国大运河博物馆建成一个“开放式”的博物馆，除了馆内的陈列，还应该有“活”的展品。正因为选址独特，届时“古运河第一桥”拱宸桥近在咫尺，千年古运河、百年古桥、河上舳舻相继的货船、岸边的河埠、河边的人家，均可巧借为活的展物。
2002年，建设中国大运河博物馆(时名)的项目正式付诸实施。该年10月28日上午，举行了中国大运河博物馆的开工典礼。历时近两年，2004年5月，中国大运河博物馆土建工程结顶。
博物馆建筑面积10700平方米，建筑呈扇形环绕运河文化广场，造型独特，“传统而不复古”，以平坡结合和开放式的格局，将室内外融为一体。博物馆建筑主体二层，局部三层，中间还有一个江南风格的庭院。
在博物馆建筑结顶的同时，馆外墙体上的一组大型铜雕也创作完成。由中国美术学院设计制作的这组铜雕共有10幅，其中最大的单体铜雕《隋炀帝陆地行舟图》宽35米，高4米，记录了隋炀帝乘龙舟沿运河下江南的恢弘场景，气势壮观，创下了杭州单体铜雕面积之最。另在博物馆建筑北墙沿自由曲线绿化带设置的九幅铜雕，则描述了历代对古运河有过贡献的人物以及一些大事件的画面，无不映衬着运河文化的历史厚重感。
以博物馆建筑的结顶为标志，国内第一座以运河文化为主题的大型专题博物馆已经呼之欲出了。
为了加强对大运河博物馆建设的领导，2004年6月21日，拱墅区专门成立了以区委副书记陈晓明为组长的大运河博物馆筹建领导小组，负责指导大运河博物馆的后续建设与布展工作。
同年8月，由浙江大学历史系严建强教授撰写的《中国大运河博物馆陈列文本》也正式完稿。该文本共分四个部分，分别是“大运河的开凿与变迁”“大运河的利用”“沿运河城市”和“运河文化”，从不同角度阐述了大运河悠久的历史和丰厚的文化。大运河博物馆筹建领导小组工作人员带着这一文本先后赴南京等地，请原南京博物院院长梁白泉研究员等专家审核，并召开专家论证会讨论，最终定稿。
与此同时，中国大运河博物馆面向全社会发布了陈列布展施工招投标的消息。当年底，通过数轮评审，最终由浙江装饰有限公司杭州设计院中标。至此，中国大运河博物馆的前期筹备工作均已完成，就等陈列布展了。
2005年底，拱墅区文广新局接手了中国大运河博物馆的陈列布展工作。但此时面临的问题是，一无专业人员，二无文物积累。有鉴于此，区文广新局首先考虑要物色一位合适的人选来具体负责陈列布展工作。
2006年2月，经担任中国大运河博物馆筹建总顾问的原浙江省文物局副局长陈文锦的推荐，我从浙江省博物馆调入拱墅区，担任中国大运河博物馆常务副馆长，负责陈列布展的筹建工作。
履新伊始，千头万绪，但面临最紧要的问题还是文物短缺。没有文物，那叫什么博物馆?之前曾在报上刊登过征集运河文物的消息，结果只有一位叫罗金根的老人捐赠了一件清代香积寺塔东塔的石塔基，还被誉为“镇馆之宝”，在报上炒作了一阵。我在来运河博物馆之前，曾先后参与过西湖博物馆、中国财税博物馆等博物馆的筹建，深知文物征集工作对于博物馆的重要性。因此，到运河博物馆报到没多久，我就开始了寻访大运河文物的行程。
我寻访大运河的第一站是安徽淮北。这里是隋唐大运河所途经的一个城市。自元代建都大都，政治中心北移之后，隋唐大运河便日渐荒废，到现在已完全干涸。它之所以引起我的注意，是因为近年来，当地村民在干涸的河道里挖出了不少当年运河沉船上遗留的瓷器，窑口非常丰富。淮北市博物馆闻讯后对河道作了抢救性发掘，尽管珍异瓷器已被盗挖一空，但还是找到了一处唐代石码头遗址和八艘木沉船遗骸，这一发现还入选了1999年全国十大考古发现之一。
2006年3月中旬，我和特邀的顾问、浙江省博物馆古陶瓷专家蔡乃武二人坐火车先到合肥，再转车去淮北。从合肥到淮北400公里路程，一路颠簸近七个小时，到天黑时才抵达。翌日我们便去濉溪镇隋唐大运河故道遗址实地考察。河道已成通往河南水城的省际公路，路两旁满是一个个的盗洞，有些盗洞边还蜂拥着许多人，大约正在作业。见我们来，还以为是公安来缉查，纷纷作鸟兽散。在路边一个村民家里，我们见到了几大筐他挖出的瓷片，粗略地看了一下，有越窑龙泉窑、长沙窑、定窑、磁州窑等多个窑口的产品，还是有不小的史料价值。我们挑选了一些，准备在将来的陈列中展出。从这些晶光内蕴的瓷片中，或可依稀想见当日运河上繁盛的商运景象。
3月底，我又出发赴扬州。这也是我有意的选择。扬州是古运河的滥觞地，春秋时吴王夫差开凿的邗沟，起点就在扬州。古人诗云“烟花三月下扬州”，我恰恰在三月底到了扬州，也算是个巧合。
历史上扬州的漆器很有名，还曾成为贡品。通过江苏的朋友介绍，在扬州征集到一件产于晚清的扬州漆器小屏风，上绘亭台楼阁图案，还嵌有九块婴戏、花卉瓷板画，很有地域特色。
在扬州逗留两日后，转赴高邮。高邮秦时置县，也是运河途经的古城。1985年高邮大运河段清淤时，曾在河中挖出数吨宋代铁钱，以南宋铁钱居多，版别相当丰富，有人戏称“河底挖出一个钱币博物馆”。20多年过去，这批铁钱散失殆尽，通过民间渠道，总算了解到一些信息。此次在高邮，共找到178枚南宋铁钱。虽然历经800余年岁月，这些铁钱的品相仍难得地非常完好，钱文清晰可辨。
4月下旬，按照原先的计划，由时任拱墅区政协代主席赵树华带队，拱墅区文广新局局长谢作盛、拱宸桥旧城改造指挥部副总指挥汪宝焕和我四人组成的大运河博物馆文物征集小组，从杭州出发赴北京，打算从通州往南，一路沿运河走几个城市。
通州是大运河最北端的城市，俗话说“一枝塔影认通州”，过去运河上的漕船，只要远远地看到通州的燃灯塔，就知道北京到了。我们重点看了通州博物馆。博物馆设在一个老四合院里，所藏文物不少，有元明清各朝古运河出土的铁锚，还有一件堪称稀珍的军粮密符纪折扇。但因为他们自己也想建一座运河博物馆，所以这批文物是不可能转让或借展的。
此后又到了天津北辰、山东德州、临清、聊城、济宁等大运河沿岸城市。但由于关于运河的文物本就稀少，加上沿岸这些城市也多有自建一个运河博物馆的想法，此次北上征集文物，除了济宁市文化局表态愿意赠送一块明代临清大青砖以外，其余可以说是无功而返。
但在此时从北京传来了一个好消息。4月27日，通过杭州市委办公厅的联系，原全国人大常委会委员长乔石同志答应为运河博物馆题写馆名，并且写好让我们去取。得悉消息，正和我一起在济宁出差的区文广新局谢作盛局长当即乘飞机从济南飞北京，与区委副书记陈晓明会合，到乔石同志家中取回了这幅“中国京杭大运河博物馆”的馆名墨宝(考虑到“中国大运河博物馆”的涵括范围太广，此时的馆名已正式改为“中国京杭大运河博物馆”)。乔老的亲笔题字劲秀挺拔，为博物馆增色不少。
鉴于此前我们过多依赖于通过“公对公”的渠道征集文物，在屡试无果的情况下，我向谢作盛局长提出，是不是可以转换思路，转向民间，通过民间收藏组织来试试?谢局长同意了我的这一想法。
于是我们通过浙江省收藏协会和杭州市收藏品市场这两个渠道，向广大的民间收藏爱好者发出了征集运河文物的呼吁。这一尝试收到了意想不到的良好效果，不少曾经居住在运河边的民间收藏爱好者，拿出了许多收藏多年的历年出土的运河文物，令我们大开眼界。
粗粗地分了分类，这些文物包括：
