话说南宋时，大将杨沂中为将西湖水引入官邸，开挖河道把清湖河（已填，今为浣纱路）的一段与市河（已填，今为光复路）连接，并在河上建众安、众乐二桥。桥名的由来，据说是为了纪念北宋杭州知府苏东坡在此地建立的官办民助医院——安乐坊。当时的众安桥是皇帝至景灵宫行孟飨礼的必经之处。这里水陆交通汇聚，商贾辐辏，百货骈陈。北面不远处是诗人陆游居住过的孩儿巷。东面店铺商肆林立，附近有名噪一时的酒楼羊棚楼。众安桥堍西南侧有临安府最大的娱乐中心北瓦子（又称下瓦子），内有勾栏十三座。端的是“满城中绣幕风帘,一哄地人烟凑集”。

到了清代，众安桥下有个叫螺蛳山扁担岭的地方，“为句容倪大有据开红纸染坊，侭依满营，墙外侧留高坡，突起六尺，长约二丈，阔计丈余，短垣层级，二面围护，士人称为长冢，传即王初瘗处，灵爽昭然，无人敢占。”官员吴廷康和一些学者经过考证认为此地是岳飞遗骸初葬处。于是他筹集银两营建了岳飞墓（衣冠冢）和九曲丛祠岳忠武王忠显庙，还编修了《岳忠武王初瘗志》，在当时影响颇大。这在民国《杭州府志》和民国《重修浙江通志稿》中均有记载。

民国《重修浙江通志稿》第二十九册《建置考》：

前殿五楹，中塑王巨像，继忠侯辅文侯立侍，左右塑王部曲十四班将像，旁龛置义士施全、隗顺，规模颇壮。前殿之后为墓亭，累土若坟，碑题宋岳忠武王父子初瘗处，系同治五年仁和沈祖懋所书，查此处为岳忠武王初瘗之地是矣，至题作父子，并继忠侯而及之则误甚，继忠侯初瘗之处虽不可考，然因王系潜瘗，必非合葬，则可断言，此应亟予辩正者。墓亭再进为后殿五楹，中肖王父母夫人五子五媳一女一孙像，即所谓启忠祠，盖仿栖霞庙式者也。启忠祠之后原为教忠孝堂，现已倾圮，莫可辩识。庙西为墓道大门，旁有二石碑，题为“宋赠太师封鄂王武胜定国军节度使湖北京西路宣抚使兼营田大使河南北诸路招讨使枢密院副使晋少保赐谥忠武加封靖魔大帝岳武王之神道”，内为靖魔殿，现因庙内设有众安桥小学，靖魔殿及忠显庙前殿两庑侧室，均改为礼堂课室，然尚留有吴廷康所录万历四十三年加封三界靖魔大帝敕文石刻，可资印证。庙本临河，从前有精忠桥直跨大门之前，对河并有照壁，嵌尽忠报国伟烈纯忠大字石刻，现因填河筑路，且对面兴建东南日报社，已俱归湮废矣。

民族英雄岳武穆，为南宋名将，尽忠殉国，素为杭人所崇拜。际兹国难严重时期，岳庙资产委员会为纪念先贤起见，特于三十日上午九时在众安桥岳庙举行秋祭礼。到杭市士绅及与祭者共二百余人，一律蓝袍黑褂，并公推省党部监委王廷扬主祭，仪式庄严隆重，至十一时始毕。