自嘉靖三十七年（1558）正月初三入胡宗宪幕府，到嘉靖四十一年（1562）十一月幕府解散，徐渭先后做了五年幕僚。总督府设在杭州，而经常流动驻于杭州、绍兴、宁波诸地，指挥抗倭事宜。尤其是抗倭后期，胡宗宪大部分时间驻扎在杭州。胡宗宪十分赏识徐渭的文学才华，不仅在乡试上为他疏通关系，而且还亲自为他聘定妻子。徐渭也视胡宗宪为大恩人，替胡宗宪草起了大量的信札和代笔其他文章，如《代贺严公生日启》《代贺冢宰吴公加太子太保启》《镇海楼记》《昭庆寺碑》等。

嘉靖三十八年（1559）九月二十八日，是胡宗宪48岁生日，胡宗宪在杭州军中筹办寿筵，十分隆重。军中文官武将，地方各级官吏以至民间耆宿老友，献上厚礼，为总督祝寿。与其他人的寿礼不同，徐渭敬献的不是寿桃珠宝，而是一首百言长诗《上督府公生日诗》。这是一份十分特殊的礼物。徐渭在诗序中说：“慕恋恩私，忻喜盛事，自不能已于言耳。”此诗是内心情感的自然流露，心潮澎湃，汪洋千里，一气呵成。首先，徐渭在诗中称颂了胡宗宪在抗倭过程中的功绩，如“初捧兵符分虎竹，再衔使命驭龙骧。森罗岛屿诸夷会，锁钥门庭一面当”，“管领华夷新士马，扫平吴越旧封疆”，“量兼沧海涵诸岛，身作长城障一方”，虽有拔高的成分，但基本符合史实。其次，徐渭叙说自身的经历，表达了对胡宗宪感恩之情：“鲰生本住山阴里，浪迹疑乘海畔航。城下钓鱼怀漂母，堂前结客忆周郎。未逢黄石书谁授，不坠青云志自强。抱玉已怜非楚璞，吹竽那识动齐王。幸因文字蒙征檄，时佩管毫侍琐廊。綦履东西鱼共丽，戎衣左右雁俱翔。县知陈阮时游魏，岂乏邹枚并寓梁。博采燕昭期致骏，曲存宣父爱非羊。众人国士阶元别，知己蒙恩心所量。自分才难堪记室，人疑待已过中行。构成燕雀犹知贺，报取琼瑶未可偿。”徐渭列举韩信、周瑜、张良、和氏等人遇恩知恩的典故，说明他对胡宗宪的感激之情。入幕前，徐渭曾经有过犹疑，有些行为也表现得狂放，这些都是对胡宗宪的试探。入幕之后，胡宗宪确实很器重徐渭的才华，徐渭也便以身相报，大有士为知己者死的侠者之风。而这段自述便是其心迹的真实表露。

徐渭在杭州留下了足迹，也留下了不少的诗文。这是一笔丰富的历史文化遗产，诗中反映的既有他的成功，也有他的失败；既有他的喜悦，也有他的悲伤；既有他对历史文化的探究，也有他对自然景色的赞美。对徐渭有关杭州的诗文进行粗略归纳，大致可以分为三大类。

既为代笔，必定要禀承和表达主人胡宗宪的意思，如嘉靖三十八年（1559）正月恰值严嵩80岁生日，胡宗宪除了准备丰盛的贺礼外，还让徐渭代写了一篇贺文。徐渭在这篇《代贺严公生日启》中，竭尽吹捧之能事，如“知我比于生我，益征古语之非虚；感恩图以报恩，其奈昊天之罔极”。嘉靖三十九年（1560）正月，又值严嵩81岁生日，徐渭代写了《代贺严阁老生日启》。此文称颂严嵩：“施泽久而国脉延，积德深而天心悦。三朝耆旧，一代伟人。屹矣山凝，癯然鹤立。”严嵩是一位奸相，曾将徐渭的朋友沈鍊迫害致死。徐渭代写的这些献媚之词是言不由衷的。徐渭后来在整理这一时期代笔之作时，也意识到这个问题。他在《幕抄小序》中说：“韩昌黎为宰相作《贺白龟表》亦涉谀，其《谏迎佛骨》则直，人不能病余，其以此也夫！”他又在《抄小集自序》中说：“昌黎为时宰作《贺白龟表》，词近谄附，及《谏佛骨》则直，处地然耳，人其可以概视哉？”两篇序言都以唐代韩愈的代作与自作为例子，说明代笔之作有不得已之处，替自己的行为作辩解。这从一个侧面也反映出，作为一个幕客，徐渭在捉刀献文时自有苦衷，难以道明。

嘉靖三十五年（1556）九月，杭州镇海楼毁于火灾。相传此楼为五代时吴越王钱镠所建，入宋后改名朝天门，元时又更名拱北楼，明初再易名来远楼，后改名为镇海楼。成化十年（1474）遭火灾后再建，此为第二次遭火灾。当时正处于抗倭关键时刻，有人认为重修此楼乃不急之务，但急于建功的胡宗宪却认为建楼有助于平倭，可以表明他平倭的决心和信心。于是他亲自领衔集资动工。此楼重建历时五年，到嘉靖三十九年（1560）建成。说来也巧，这一年正好是胡宗宪平倭战绩辉煌的一年，胡宗宪自然十分满意，认为应该作记勒石，就叫徐渭替他写一篇《镇海楼记》。徐渭在文中记叙了镇海楼名称的变迁、重建的经过以及胡宗宪重修的心迹。《镇海楼记》一文非常符合胡宗宪的心意。作为奖赏，胡宗宪送给徐渭220两银子，给徐渭建造房子用。徐渭回到绍兴，又变卖家中文物，也凑了220两银子。他用这些银子在绍兴城南东买地10亩，经营房屋。为了表示对胡宗宪的感恩，他将房屋取名“酬字堂”，并写了一篇《酬字堂记》。此外，徐渭还替胡宗宪写成《昭庆寺碑》一文。此文对昭庆寺的历史沿革、香火盛况、倭寇入侵、当事者烧寺以及重建经过，都进行了详细叙述。

徐渭对杭州情有独钟，尤其是西湖美景和钱江潮的壮阔多次出现在他的笔下。从他现存的诗文来看，每次到杭州，无论逗留多少时间，都会与朋友流连于西湖的山山水水，浅斟低吟。如《八月十六日夜泛舟西湖》一词表现了他游湖的雅兴：“月倍此宵多，杨柳芙蓉夜色蹉。鸥鹭不眠如昼里，舟过，向前惊换几汀莎。筒酒觅稀荷，唱尽塘栖《白苧歌》。天为红妆重展镜，如磨，渐照胭脂奈褪何？”《孤山玩月次黎户部韵》写出了月光湖水相交映的夜景，其中写道：“湖水澹秋空，练色澄初净，倚棹激中流，幽然适吾性。举酒忽见月，光与波相映，西子拂澹妆，遥岚挂孤镜。”《二峰篇赠钱塘陆宗礼》描绘了南北高峰的壮丽景色：“南高峰，北高峰，遮空矫翼非一凤，夹江赴饮驰两龙。此山何年别天目，却走钱塘宛相逐。瑞霭朝朝郁以葱，秀色家家纷可掬。”

徐渭还描绘了钱塘江潮水的壮观。嘉靖三十五年（1556）八月十七日，徐渭与同学丁肖甫一起，陪同老师季本到龛山去看抗倭战场，并且登上山冈，观赏钱塘江潮。他在《丙辰八月十七日，与肖甫侍师季长沙公，阅龛山战地，遂登冈背观潮》诗中描写钱江潮：“海门不可测，练气白于捣，望之远若迟，少焉忽如扫。”此诗充分表现了钱江潮的气势。第二天，他们在党山再次观赏钱江潮。徐渭在《十八日再观潮于党山》诗中描绘了钱江潮的壮观场景和恢弘气度，其中写道：“山窥本避濡，俄惊足下吼，老壁拍波尘，千仞落衣袖。望穷不见外，潋滟明灭久，人天俨未消，劫火烧宇宙。”《徐渭集》现存的两首四言古诗中，有一首《雁台诗》值得一提。此诗诗题下原注：“陆子尝买雁放之，因以为号。又雁台在杭江干。”明确指出雁台在杭州江干，可惜此胜迹现已不存。徐渭在诗中写道：“左江右湖，名山有台，近阳背阴，雁为之来。”从诗的内容来看，徐渭显然对雁台的地理位置十分赏识。雁台左边为钱塘江，右边为西湖，又依傍在名山上，坐北朝南。由此可以推测，雁台可能坐落在玉皇山南麓。

徐渭行为疏放，喜欢结交三教九流的朋友。他在胡宗宪幕府时，不仅以才智见长，而且擅长谈论用兵之道，喜欢与武官结交。徐仁卿是武义生员，勇武超群，号称徐千斤。徐渭写了五首《武林馆中与徐仁卿同宿，因赠》，称赞徐仁卿的勇猛：“自造提刀偃月文，诸工围煅焰吹云。当时试舞犹嫌薄，铁欛连环六十斤。”“海中黠盗计何劳，罗拜庭前岭月高。财出锦缯还未献，一时叱咤夜深逃。”

万历三年（1575）中秋节过后，出狱不久的徐渭到杭州旧地重游，昔日故旧大多星散。徐渭想起了李峋嵝山人，急忙赶往灵隐寺拜访。李峋嵝是道教信徒，也是一位诗人，与徐渭谈了半天鬼神之事，一直到月亮升得很高，两人才告别。他在《访李峋嵝山人于灵隐寺》尾句写道：“两岸鸥凫浑似昨，就中应有旧相亲。”表达了对昔日友朋的深深怀念之情。

何洪听说徐渭在杭州，便去请徐渭饮酒。席间，何洪向徐渭叙述嘉靖四十三年（1564）冬天，次子何炅得重病，余姚叟徐永为求纯阳子吕洞宾得诗，其中云：“三春柳外莺声好。”以“三春”寓“六日人”，何炅六日后死去。何洪从此信奉纯阳子，在西湖南面的长春山为纯阳子建长春祠。何洪请徐渭写一篇文章，徐渭便写成了《长春祠记》。徐渭似乎对这篇文章很重视，晚年写《畸谱》时还提及：“寓杭，为何老作《春祠碑》。”这恐怕与徐渭在文中表述的观点有关系。一方面，徐渭说“予始闻谓神仙方厌世，而复索居于人，初不甚信”，即神仙要求人间供奉，与道教的宗旨不符合。另一方面，徐渭认为“予观何君信人也，予虽不信兹事，岂宜疑何君哉”，徐渭相信何洪的为人，也就不能怀疑何洪所口述之事。正是由于这种矛盾，徐渭在评述神仙之事时，往往闪烁其词。也许这正是徐渭看重这篇文章的原因所在。当天晚上，徐渭就住在长春祠里。半夜里，朱君叫醒徐渭，一起去赏月。两人一起登上山顶，月色皎洁，迷迷茫茫中，钱塘江也在山峰之间露出一角。徐渭为此写了《宿长春祠，夜半朱君扣榻，呼起视月，山缺处钱塘仅一勺，而夜气滃之》一诗：“长春明月夜阑干，起视当眉尺五间。千里林光俱浸水，一杯江气亦浮山。似闻隔岫吹长笛，欲唤真官语大还。忽忆广寒清冷甚，有人孤佩响珊珊。”徐渭对长春祠似乎有一种特殊的感情，除上述引征的诗文外，他还写了五言律诗《拟寿长春祠何老》、七言律诗《八仙台次韵》和榜联《长春观》。