1910年秋，余绍宋学成回国，赴京做了外务部主事。不到一年武昌起义爆发，辛亥革命开始了，原本就不满清政府封建统治的余绍宋，收拾行李来到杭州，受聘于浙江公立法政专门学校，任教务主任兼教师（当时的浙江公立法政专门学校在杭州城东的马坡巷，如今旧址已找不到了）。
浙江公立法政专门学校虽然规模不算太大，但在该校先后任教的老师倒有不少知名人士，如陈叔通（敬第）、沈衡山（钧儒）、阮荀伯（性存）、许养颐（壬）、郁曼陀（华）、凌励琛（士钧）等人。曾在此校就读后来成为颇有名望的学者，有目录学家周子美、篆刻家武钟临等。阮毅成先生在《记余绍宋先生》一文中说：“旋三人（余绍宋、阮荀伯、许养颐）又共同发起创设浙江私立法政学堂，在杭州刀茅巷，自建新式校舍。先君（阮荀伯）任校长，许任教务主任，越老（余绍宋）任教员。清廷初不许私人讲授法政之学，经一再力争，始获核准。”事隔90年，如今谁也说不清刀茅巷这所私立法政学堂的旧址到底在什么方位。
1913年，余绍宋应邀赴北京，开始长达16年之久的宦海生涯。为官之余，他还兼了许多学校的课。余绍宋两次出任司法次长，凭着知识分子的良知和敬业精神，尽其所能做了一些利国利民的事。无奈当时军阀纷争，政治黑暗，空有报国理想却很难有所作为。1926年3月，余绍宋因抗议段祺瑞执政卫队枪杀学生而辞官，碾转天津、上海，最后还是回到了杭州。
1928年7月，余绍宋自天津来到杭州，在北山街原82号赁屋而居。屋居西湖北岸，南望孤山，东南则白堤在目，因此他时常可以和友人荡舟湖上优哉游哉，这和他在北京官场的生活形成了鲜明的对比。
在杭10年，余绍宋先生以书画自娱自给，十分悠闲，无拘无束地做些自己想做的事。1930年，他完成《画法要录》二编；1932年，他完成《书画书录解题》十二卷；1934年重修《龙游高阶余氏家谱》；1934年主编的《东南日报》特种副刊《金石书画》创刊，共出版87期。著书立说之外，便是写字作画，当时他书画的润格较高，为他经营字画的有北京的荣宝斋、韵古斋等名店，在上海有朵云轩、九华堂等，在杭州则有西泠印社、浣花斋等。
余绍宋回杭后，只是读书、作画和著述，而许多北京的老友屡屡邀他出山，尤其是罗文干（钧任）几次相邀，他都不答应。其中一位叫陈哲侯的写信责问他。他回信说出他的心愿，拒不出任任何职务。他在回信中这样写道：“辱爱具见尊注，弟自审拙劣，实非今世所宜，故宁习苦以自韬晦。钧任出任法曹，力求振作，固甚可慰。然大局如此，秋曹安能独善？犹以十六年冬过沪与兄相见，曾谈及党治之效，想犹记及，今果如何？若秉钧者不亟求所以刷新政治之道，恐祸患之来有不堪设想者矣！现闻郁堂（朱献文）、励琛（凌士钧）将连袂出山，为法曹尽力，其效必有可观，仅可容弟偷闲自放，亦使人知尚有不慕荣利之人，未始不可为秋曹生气也。”
余绍宋来杭定居后做的第一件事便是发起“东皋雅集”。因他久居北京，对杭州并不了解，经老友马叙伦的介绍，结识了杭州书画界的许多朋友，并在孙廑才家开了一个关于发起雅集活动的会议。余绍宋倡议成立书画雅集、聚集杭城书画高手，切磋书画艺术、交流所藏珍品。雅集活动地点是杭州城东的金衙庄浙江忠义祠和东皋别墅（明尚书金顺昌故居），均在东河之滨，故定名为“东皋雅集”。
“东皋雅集”发起后，社友不断增加，很快发展到30多人，杭城擅书画者几乎云集一堂，可谓人才济济。其时杭州的西泠印社成立已20余年，很多印社成员也都来参加“东皋雅集”活动。如叶为铭、丁辅之、高氏三兄弟、俞序文、陈伯衡、武曾保等人。作为一个纯艺术社团，“东皋雅集”之规模远不如西泠印社，但它活动频繁，每周一会，每月一餐会，社友只要没有特别的原因都会按时参加活动，气氛十分活跃。
雅集活动一般是在集社时社友各出所藏，展示给与会者观赏，观赏之余，或挥毫作书画，或聚首阔论。但凡入社者每次与会，必带自作书画一页，以四尺十开为标准，以便统一成册。成册后，分别由各社友收藏。10年下来，社友收藏的书画也十分丰富。集会时也允许非社员中喜爱书画者参观。日本领事米内山也曾多次介绍日本画家来杭参加活动。
时至1937年日寇侵华，社友云散，“东皋雅集”才被迫终止了活动。其前后持续了近10年，共集会460多次。在一般民间自发的艺术社团中，活动如此频繁、坚持如此之久者实属罕见。
在当时动荡不安的社会背景之下，“东皋雅集”聚集省城书画高手，切磋技艺，观摩藏品，加深友谊，社友的书画技艺及鉴赏水平得以精进，并产生了一大批书画精品流传后世，对浙江书画艺术的推动意义可谓深远。1979年，仍在世的东皋社友徐行恭老先生时年八十有七，讲述当年集社情景时仍感怀万分，题《如梦令·怀东皋雅集》一首：“台榭亭泉竟爽，画帧诗囊飞响，裙屐漫相联，收得沧波珊网。凝想，凝想，云散风流人往。”
1931年，余绍宋在菩提寺路和孝女路之间买了一块约一亩二分的地，请人建了一座二层、前后两进共六开间的小楼，南北为平屋，左右两廊种竹，正屋前则种松、梅，通道两侧密植书带草，空地上广种木本、草本花木。当年建成，楼虽不大，但十分典雅。主人为它取名为“寒柯堂”。原来此处是块空地，不久何柱国、宋延华等人也在此地建屋，才形成了一条里弄。当时，杭州市建设部门请他命名，此时正逢其母亲七十大寿，于是起名为“萱寿里”，此名字一直延用至今。如今寒柯堂虽然面目全非，但仍然藏在萱寿里这条小巷之中。
余绍宋13岁时，父亲就去世了，他是长子，是母亲辛辛苦苦地把他和弟弟妹妹们抚养成人的，所以他对母亲十分孝顺。早年在北京做官时，不论多忙，每年一定要回衢州省亲。现在他在杭州有了自己的房子，于是接母亲来杭州居住。母亲褚太夫人，字雪倌，祖籍山东，出身官宦之家，知书达理。后来随夫余延秋来到衢州定居，不久在化龙巷生下余绍宋。
1933年，余绍宋接母亲来杭居住，每天陪侍母亲身旁，同时不忘挥笔书画。他作画时母亲常在旁观看，这是他很难得到的天伦之乐。他画了一个春夏秋冬四景的长卷，高34.5厘米、长1521.9厘米，历时一个多月，母亲时时在旁观看。他一生在外奔波，这是十分难得的与母亲在一起的日子，所以把它取名为《归砚楼娱亲图卷》，北京和杭州诸书画界朋友30余人为此卷题名，马一浮为题引首曰《莱衣散彩》。
