灵芝寺旧址示意图

灵芝崇福寺旧址位于西湖南岸，现南山路钱王祠附近。寺院兴建于北宋太平兴国元年（公元976年），原为吴越钱氏故苑，因此处盛产灵芝，舍灵芝而建寺，故名“灵芝寺”。北宋大中祥符初年，赐额“灵芝崇福寺”。南宋时寺院规模到达顶峰，高僧贤达络绎不绝，高宗、孝宗亦多番临幸并赏金赐田。

当时，寺中有浮碧轩、依光堂两殿，为新科进士题名之所。寺畔建显应观，旧闻高宗为康王时，为避金兵，独自冒雨夜行，急行之下，马匹累极暴毙。赵构一时心如死灰，自怨自艾间，忽见前方踱来一匹白马，遂乘马狂奔，驰至崔祠（唐贞观年间磁州鉴阳令崔子玉之祠堂，民间称其崔府君），马忽不见，遂避宿祠中。入夜，梦中神灵以杖击地，促其行。出门，见昨日之马待侍院中，遂策马过涧。待到岸边，再见此马，已见水化之。视之，乃崔府君祠中泥马也。后赵构定都临安，为报其恩，便于城南为其立祠祭祀。绍兴二十四年，迁祠至西湖之滨，分灵芝寺部分地基以建造，取名“显应观”。咸淳年间，改额”昭应”。古书记载，旧时每逢六月六日崔府君生辰，观中必游人阗沓，许愿者众多。

绍兴十年(1140年)，年仅16岁的陆游赴临安应试，路过“灵芝寺”，在此借宿。“我年十六游名场，灵芝借榻栖僧廊。钟声才定履声集，弟子堂上分两厢。”写的便是当时的情景。

元末灵芝寺被毁。明永乐年初，僧人竺源集资再造。

嘉靖三十九年（公元1560年），督抚胡宗宪将灵芝故寺改建为表忠观，塑钱氏三世五王像，春秋致祭，并令吴越钱氏十九世孙洪德者守之。

至此，灵芝寺倩影不再，唯余廖廖数语埋于故纸堆中。