怡庐位于北山路75号，又称“潘宅”。

怡庐建20于世纪30年代，占地面积2亩多，建筑为两层两开间砖木结构，清水砖墙，坡顶平瓦；楼下为柱廊，楼上是露台；楼内有宽敞房间8个，地板木壁，建筑面积近300平方米；楼外是古树名木、假山鱼池；房屋后面是悬崖峭壁，为接留山泉，还砌有一个大水池。

怡庐是沪上富商潘志铨的西湖别业。潘氏为上海英商怡和洋行买办，饶有资财，广为置业，上海、莫干山、杭州、天目山都有他的洋房别墅。他的西湖怡庐至今仍可找到“怡庐”和“潘界”石碑，只是在前些年的北山路拓宽时，拆除了一部分花园，围墙往院子里退移了几米，使得有些载有历史信息的实物如界碑之类遗散了。

新中国成立后，怡庐收归国有，一度作为省委统战部的办公场所，后又成为省级机关干部宿舍。