《咸淳临安志•西湖图》：“五丈观音寺”。旧名龙兴千佛寺，在今玉皇山南麓。五代时杭州又有龙兴寺，塑观音像，在今延安路与凤起路交叉口，即《京城图》军器所（左祥符寺、右千佛阁）。

足有四丈多高（12米多）的金缕衣，悬挂在德寿宫聚远楼里，都够着楼顶房梁了，金光耀眼，宏丽华美，叹为观止！更令人惊奇的是，这样一模一样的金缕衣居然挂有两件。太后吴氏前后左右审视了良久，终于舒了一口气。她吩咐宫女去请太上皇来看，但转念一想，还是叫宫女先去大内请皇帝（即孝宗赵眘）过来。没过太久，孝宗匆匆赶来。令吴太后高兴的是，她那孙子赵惇（孝宗第三子）也跟着来了。

乾道七年（1171）赵惇被立为太子，但同时他就被下放基层锻炼，去临安府担任府尹一职。皇帝这是为了让他了解民情世俗，培养执政能力。这天，太子 进宫向皇帝报告，因为政通人和，临安府监狱已空无一人。皇帝很高兴，恰好此时德寿宫宫女捎来吴太后懿旨，要皇帝去德寿宫看金缕衣，赵惇便跟着一起去了。

这时，太上皇（即高宗赵构）也被吴太后请来了，祖孙四人便一起观赏这两件金缕衣。大家啧啧称奇，一致称好，唯有太子小声嘀咕说：“虽说‘佛要金装’，但这观音寺也真够‘奇葩’的，偏偏供奉了两尊观音巨像，否则，这么珍奇的金缕衣做一件就够了。”

吴太后没有搭理太子的异议，而是提议太上皇、皇帝和太子三人一同陪她去南山的五丈观音寺舍衣。太上皇似乎不甚积极，认为舍衣之事由孝宗来做即可。但吴太后说了，五丈观音寺的两尊观音雕像各有五丈之高，前次因为对舍衣之事不够虔诚，客观原因也是这两尊像实在过于宏大，竟然把金缕衣的尺寸给量错了，而且成衣后也未仔细把关，结果拿去披上观音像，仅及雕像的一半身高，当时真的是好尴尬。现在这两件金缕衣是第二次裁制，虽然重新量身定做，但只有祖孙三代一同去舍衣，方显得全心全意、郑重其事，也是挽回先前未尽诚意的罪过。太上皇一听有道理，也就答应了。

过了几天，舍衣礼仪在观音寺内观音阁安排妥帖，这祖孙三代人便一同前往。舍衣仪程一切顺利。礼毕后，寺院主持僧性将祖孙三代迎入后院禅房，进献香茶。闲谈中，太子忽然问道：“请问大师，天下寺院多有观音像，但多是仅有一尊像，何以这五丈观音寺却并列共存两尊观音像，其中有甚故事？”

僧性微微一笑说：“请殿下打量一下这观音阁大致有多高？”太子道：“太高了，两尊观音像各高五丈，这楼阁不及十丈，但八丈之高总该有的吧。”僧性：“太子好眼力！这观音阁正是八丈之高。”他啜了口茶水，为太子讲述了这座寺院的来由。

宋太祖建隆元年（960），在杭州的吴越国王钱俶信奉佛事，曾以五金铸造了十万座宝箧印经塔。为广结佛缘，钱俶遣使者渡海将其中的五百座塔颁赐日本各大寺院。吴越国使者在日本完成使命返还时，海船上却多了一名日僧，他自称“转智”，搭个顺风的“便船”一起到中土。哪晓得这艘“顺风船”在返程时碰上了罕见的风浪，风鸣海汹，好几次就要翻船了。众人正自惊恐，却见转智和尚合掌端坐，面不改色，一心诵经“如意轮咒”。在他的诵经声中，风浪渐渐平息，海船竟然安然无恙。这时转智和尚说，方才端坐诵经时，忽见如意珠王（观世音菩萨所显化）显现十首八臂、十丈之高的胜相，海上由此风平浪静。众人甚感惊奇。转智又许愿道：安然登陆后必求一处高梁广宇，雕造十丈胜相，以谢佛恩普度众生。

后来这艘海船果然平安返回杭州。但上岸之后转智傻了，别说在杭州，就是整个东南佛国，想要雕造一座十丈佛像何其之难，想要找到一座能容纳十丈高像的庙宇，更是难上加难！不过，转智和尚会转，他不晓得转了多少地方，终于转出“智”来。他找到了始建于唐文宗开成四年（839）的龙兴千佛寺，这是当时杭州最高大的庙宇，拥有一座八丈高阁。转智与主持僧光相商，提出的妙想是，以阁为殿，立五丈观音雕像两座，合二以为十丈之数。僧光闻所未闻这样的事，不好做主，思忖这转智既然是吴越王钱俶请来的和尚，还是由钱俶来决定。僧光向钱俶汇报了转智的想法，钱俶一听这样的好事，一口许诺。于是，僧光便将千佛寺进行了一些改造修缮，转智则化缘募工，雕造了两尊各五丈高的观音像，两国和尚配合默契，将两观音像顺利请进庙，转智终于还了心愿。

后来的事情也很“奇葩”。这日本来的转智和尚，人们发现他居然不食人间烟火。杭州鱼米之乡，但他平常只是找些野芹、水蓼果腹。杭州丝绸之府，但他也不穿丝绵衣裳，无论寒暑天气，一件楮袍（纸做的衣服）遮体，被人称作“纸衣和尚”。后来他由海道前往天竺（今印度）求法，在南海附近的瞻波城国受不了炎热酷暑天气，胡乱喝了些不能喝的水，结果悲剧了，不幸中毒身亡。千佛寺因有转智雕造的这两尊非同一般的观音像，而改称五丈观音寺。北宋末年，方腊造反攻破杭州，观音寺受到严重破坏，但奇怪的是，玉石俱焚之中，偏偏这座观音阁挺住了，屹然云际，不坠劫火。南宋时候，有一天太上皇偕吴太后“临幸”观音寺，瞻仰了如此伟观奇观后，吴太后即发愿动用“内帑”（皇家私财，帑[音tǎng]），为两尊观音像新制两件金缕衣。

祖孙三代皇帝同时莅临一所寺庙，这种事情很少见，但南宋时出现了。五丈观音寺的名声由此也更为轰动，远近闻名。到南宋末年，诗人董嗣杲游历西湖胜景、吟诵《西湖百咏》时，还看到寺内有一石碑，记载了高宗、孝宗和光宗三代皇帝造访这座名寺的事迹。董嗣杲写下了他当时的观感：

海国风涛拥万寻，此身何翅直千金。 涉波直现昂藏相，结屋还坚报施心。圆得诸方传转智，幸存一半有观音。阴廊谁立苔碑在，只载三朝法驾临。

到明代时，有一位叫陈贽的诗人，是董嗣杲的铁杆粉丝，他将《西湖百咏》和韵了一遍，结果又将五丈观音寺的故事吟诵了一遍：

大士空中现几寻，庄严宁惜费千金。 若非突兀惊人相，那显慈悲救苦心。风度遥传钟磬响，月明远听海潮音。残碑尚在荒山里，凤驾鸾旗不再临。