我国东汉史学家班固作《汉书》，其《汉书地理志》中记载：“武林山，武林水所出，东入海，行八百三十里，莽曰泉亭。”据传，“武林山”即今灵隐、天竺一带群山之总称，“武林水”则是最早见于记载西湖之名。
南宋《梦粱录》记载：“杭城号武林，又曰钱塘。”《辞海》释义，武林“旧对杭州的别称，以武林山得名”。
古时武林山山脉逶迤，从灵隐、天竺一直延伸至如今的天水地区龙兴祥符戒坛寺一带，虽延伸段只不过是一座“土阜陂陀，高可三丈，广不满百步”。但山上草木葱茏，鸟语花香，山下碧水烟柳，潺潺清流，犹如世外桃源般静谧悠然。“武林”又称“虎林”，因避唐太祖李虎之讳而将“虎林”改为“武林”；也有人说，因音讹，传虎为武，于是便称武林山。
由武林山而名致的武林门，乃为杭州最古老的北城城门，始建于隋朝。寻根溯源还得从京杭大运河说起：北起北京，南达杭州，全长1794千米的京杭大运河，始建于公元前486年春秋吴国开凿邗沟，完成于隋代，繁荣于唐宋，取直于元代，疏通于明清，沟通了海河、淮河、黄河、长江、钱塘江五大水系，前后历时1700余年。
隋文帝时，杭州筑城门12座，北部一座即北关门；南宋设城门13座，北门也仅此一座。北关门亦称百官门。明嘉靖三十五年（1556），北关门改称武林门。元末顺帝至正十九年（1359），张士诚据杭州，改筑杭州城垣，其中设水门6座，城北有武林门和坝子桥两座。
千余年来，武林门一直成为沟通京杭大运河杭州城北段及城内运河的水上交通枢纽。吴越王钱镠修建杭州城垣时，“北关门”雕甍华丽，挺拔端秀，南宋文学家岳珂《望北关门》诗云：“万里云开瑞日明，雕甍遥接九重城。孤连丹凤红云绕，关度青牛紫气迎。”
南宋高宗建都杭州，武林门改称“余杭门”，又称北关门、百官门，因此有“百官门外鱼担儿”之谣。明改为武林门，沿袭至今。诚如北京别称燕京、西安别称长安、南京别称金陵等一样，武林便是杭州的代名词。白居易、苏东坡两位杭州老市长分别留下了“余杭形胜四方无，州傍青山县枕湖”和“沙漠回看清禁月，湖山应梦武林春”的咏叹。钱唐县治、南宋景灵宫、万寿观、太学均建于武林门一带。
