当地老底子有一首民谣:“长毛(指太平军)翻过九度岭,章神庙里做戏文,杀人杀得血淋淋,良渚街上勿相信。”唱出的是清末年代太平天国忠王李秀成施行调虎离山计,曾经两度率兵由武康(今德清)翻过安溪的九度岭,跨广济大桥折东往奉口,下西塘河水路,经宦塘、良渚、勾庄直扑杭州武林门,以解天京之围。一次,太平军取道杭宁古道,一路追至至安溪,恰巧当日大桥北面演社戏,村民拥聚一起挡住了他们的去路,于是就乱杀无辜……
古镇北麓山脉逶迤,主要有大遮山、乌尖山和东明山,为杭州北部屏障,山上盛产毛竹,古木蔽天,境极清幽。大遮山高460米,系杭县境内最高山脉。旧时山巅有规模宏大的群仙观,三殿三进砖瓦结构,共有大小房屋三十余间;东明山在大遮山下,建有东明寺,大小房屋七十余间。当年,该寺的大雄宝殿之宏丽,埒于灵隐;佛像雕塑之活,且优于灵隐。相传明建文元年(1399)前,为建文帝避难之处,清康熙年间该寺极度兴盛。1941年8月1日,日军在追剿抗日游击队时,将两处寺庙焚毁,夷为平地。目前,群仙观列为遗址,东明寺已重建竣工,被确定为文化旅游开发项目。
安溪古镇寺庙众多,又是一大特色。新中国成立初尚有十九庙、十寺、十庵、二堂、一观共四十二座。其中数桥南的东岳庙颇具规模,终年香火不断。但始建何时无法考证,史载咸丰七年(1857)重建。该庙占地4140平方米,其中建筑面积约1000平方米,分正殿、廊庑、斋房、天井和号称“浙北第一舞台”的戏台。最惹眼的是戏台上顶的藻井,它由数百只木雕彩凤拱叠而成,并呈覆碗形圆顶状,俗称“鸡笼顶”。因造型十分别致,且依循声学原理,晚上台上唱戏,远在广济桥上乘凉的人们都听得清清楚楚。此庙解放后改为粮库。古镇的寺庙其他还有始建于元代的无诤寺、金龙四大王庙、金仙寺和接待寺等,还有桥北遗址群,由著名的瑶山祭坛大小遗址共12处组成(见《余杭文物志》)。
此外,历史上一批忠臣名将的墓葬,也在古镇以北的山麓。据记载,仅宋、明两代就有沈括、赵鼎、张浚、谢达、谢绪、胡心得的六座古墓葬在此。