1937年12月日寇占领杭州，之江大学成为日寇宪兵司令部，校园内驻扎日寇步兵和骑兵，学校遭到了严重破坏，天文台也难逃厄运。天文台因在山顶处，树木繁茂，日寇生性多疑，怕天文台内隐藏游击队，故将天文台炸毁。因天文台四周墙体是用水泥和石块砌成，非常牢固，日寇只能将屋顶和室内的工作间及楼层破坏掉，留下一个约100多平方米、长方形朝南墙体，中部一巨大半圆凸出的墙壳，四周一片荒芜。

1946年，抗战胜利的第二年，父亲回之江大学任教，我们兄弟两人就读于之江大学附小。小学在校区北面山坡上的图书馆底层，沿图书馆右侧有一条用碎石铺就的山道，向上攀登200米左右，便是天文台。天文台地处群山之中最高处，视野十分开阔，钱塘江、钱江大桥、六和塔及四周山峦景色尽收眼底。当时我们看到的已是被日寇彻底破坏，只剩下半座石砌的天文台废墟，室内满地碎块，倒塌的楼梯和架设天体望远镜用的水泥石块砌成的巨大的圆柱体基座，还有一些玻璃碎片、钢筋和子弹壳，一片狼藉，杂草丛生。

1948年学校曾考虑在遭到彻底破坏的旧址上重新建造新的天文台，由于天体望远镜和一些设备价格昂贵，加之学校其他教学设施亟待修缮，于是放弃重建计划。天文台残址因离我们小学部很近，成了我们常去玩的地方。

由于时间久远，天文台原来留下的残垣断壁现已不复存在，湮没在灌木杂草丛中。在原遗址上只能看到一些墙址、水泥柱体和碎石。