每个人都会有自己喜欢做的事,也有人会喜欢收藏书,但是像尤袤这样爱书的人却是罕见。尤袤一生嗜书,早有“尤书橱”之称。杨万里说他曾将其所著《西归集》、《朝天集》赠送给尤袤,尤袤高兴地写诗酬谢。
尤袤在京城任职的第一份差事是“秘书丞兼国史院编修官和实录院检讨官”,有机会接触大量的书籍文档,借阅朝廷三馆秘阁书籍,能够更多地抄录到一些一般人所难以见到的书。他开始广为抄书,据说他抄书抄到了“脱腕”。
经、史、子、集、稗官小说、释典道藏、杂艺、谱录等内容,尤袤均有收藏,内容丰富,数量巨大,而且价值很高。其中北宋国史,九朝俱备,相当齐全,且大多是手抄珍本。他的好友陆游,曾在诗中写到万卷楼时有这样的句子:“异书名刻堆满屋,欠身欲起遗书围。”而宋代的目录版本学家,陈振孙也有这样的评价:“家有遂初堂藏书,为近世冠”,当时万卷楼的藏书名播神州,历史上也久负盛名。
即使藏书千万,汗牛充栋,终究抵不住一把火的毁灭。在尤袤死后,乐溪居发生大火,万卷楼的藏书全部被毁。无锡第一位状元蒋重珍曾有这样诗句:“遂初读书处,鹤去白云留。”