由于吴廷康本就是金石学家，所以众安桥岳庙中有很多碑刻，其中有一块由清代书法家何绍基题写的碑文，据书法家、西泠印社第三任社长张宗祥在书札中回忆“余初见杭州众安桥岳庙忠武像题记，几於骇绝……”《岳武穆年谱》也记载，众安桥岳王庙“因困于经费，及中经洪杨之役，经始于道光十三年（1833），讫于光绪二年（1876），前后几四十年，始获全部竣工”。可见，吴廷康在建设时是苦心积虑、悉力经营的。
人世间能消几番风雨。1966年，在“破四旧”中，众安桥的岳飞衣冠冢被夷为平地
20世纪70年代初，众安桥岳王庙因被认定为危房而拆除。
“文化大革命”期间，栖霞岭下的岳王庙受到严重破坏。1979年国家拨专款重新修建时，将原众安桥岳王庙内的“宋岳鄂王像碑”“宋封少保武昌公岳鄂忠武王遗像碑”“岳飞忠武奏草碑”“岳飞书《吊古战场文》碑”“详请岁给香火银两碑”石刻移至栖霞岭。另据《岳武穆年谱》记载，原众安桥岳王庙内还有岳飞手书“《洗马歌》碑”石刻共九块，早在民国时就已移至西泠印社。
1993年，为配合庆春路扩建，众安桥小学被拆除，岳王庙从此销声匿迹，除了岳王路的路名，再没了半点遗迹。
由于岳飞遇害时属戴罪之身，相传是义士隗顺偷偷将遗体收敛埋葬，所以初葬地未传于正史，仅记录在民间笔记中。《朝野遗记》说“王尸踰城葬于九曲丛祠”，《金佗祠事录》谓“尸潜瘗北山之漘”，《北盟汇编》云“葬临安菜园中”，《南宋相眼》道“其坟在钱塘门外”，等等，众说纷纭。至于吴廷康编修的《岳忠武王初瘗志》，现已不见踪迹，他对岳飞初葬地是如何考证的，也就不得而知了。现在，虽然更多史学家认为岳飞初葬地应为西湖北山一带，但这都不影响百姓对众安桥岳王庙的怀念，回忆它的文章不时见诸报端。
2014年夏，在庆春路和中山北路口的草坪上，树起了一块“众安桥南宋三英烈碑”，旁边半圆形的花坛中相映生辉地耸立着一座象征岳家军的头盔、宝剑、披风雕塑，刻有“撼山易撼岳家军难”八个大字。背后还有四块大青石，上面线刻着“岳母刺字”“大破金兵”“金牌班师”“风波亭遇害”的故事。而此时距离岳飞遇害已过去了872年。历史的惊涛骇浪和时局的波谲云诡早已幻化成记忆的涟漪，和青山青史交汇融合。沧海桑田湮没了地下的河流，消磨了地上的建筑，但到底磨灭不了铮铮铁骨。
世事更迭，也许有一天，这些碑刻会再次消失，所有往事都将变成滚滚烟尘，交织在拔地而起的城市高楼中，凝望着每日的车水马龙，但岳飞的碧血丹心给水软风轻的杭州注入雄豪刚健之风，为杭州裹上了独特而厚重的历史包浆。
