徐渭先后八次到杭州参加乡试，历时21年，却屡战屡败，最终没有取得半点功名，而是以布衣终身。徐渭自幼聪明，智力超常，8岁即被誉为“神童”。嘉靖十九年（1540），21岁的徐渭考取秀才，首次到杭州参加了乡试，没有考取举人。此后，徐渭每三年一次到杭州参加乡试，都未中举。嘉靖三十一年（1552），徐渭第五次参加乡试，依然名落孙山，心情非常抑郁，精神十分沮丧。从杭州回到绍兴，徐渭写下了《涉江赋》：“壬子季秋，予既被弃，涉江东归，水深则厉，仆痛主困，旅多太息。夕发西陵，日高造阈。渭既登一枝之堂，俯而拜母。母曰：‘儿复如是归乎？儿则困穷，儿好颜色，儿腹应饥，为儿作食。’既乃渭复往旧托之禅堂，掩关户于晷刻，嗒然其坐忘焉。乃有二三伯仲，来相问视，顾盼之间，指予鬓而谓曰：‘子发白矣，年其几何，吾则宜然，如子则那？’”此赋文字较长，就上引部分来看，一个在科举道路上苦苦挣扎的知识分子形象跃然纸上。赋前有小序。徐渭在小序中说，潘岳32岁作《秋兴赋》，头上已有白发，后来作《闲居赋》，“自述多落而少迁”，但合两赋而观之，则“诚见其嗜醇醲而姑言寂寞也”，大有做秀之嫌。而徐渭写《涉江赋》时，也是32岁，鬓发变白，而景况远不及潘岳，所以他说：“虽才不逮潘岳，而志或异焉。”从赋的内容看，确实反映了徐渭当时的困顿和苦闷。

嘉靖四十年（1561），徐渭第八次参加乡试。江浙总督胡宗宪怜惜徐渭的才华，想为他谋得仕途出身。于是，各试官入谒胡府时，胡宗宪都关照说：“徐渭，异才也，诸君校士而得渭者，吾为报之。”胡宗宪当时权重东南，他关照过的事自然不会有问题。但问题恰恰出在一个细节上。有一位试官入谒胡宗宪时来得较晚，而此人系贡士出身，胡宗宪看不起他，就忘了向他打招呼。考卷拆封之日，录取诸人中竟无徐渭之名，主试官急忙寻找试卷下落，结果在贡士出身的考官处找到，但原卷已被考官写满了批语，讥讽满纸，无法复议。试前，有一位姓周的官员赠诗给徐渭，预言“天池欲化龙”。天池是徐渭的号。试后，徐渭在《省试周大夫赠篇，罢归赋此》诗中愤愤地写道：“风雷亦何限，终是恼凡鱼。”表示了对科举的失望。

徐渭一生经历了四次婚姻，除了第一任妻子潘氏是绍兴人外，其余三个女子都是杭州人。自嘉靖十九年（1540）入赘潘家，到嘉靖二十五年（1546）潘氏病死，徐渭度过了一生中最美好的婚姻生活。嘉靖二十八年（1549），徐渭从杭州买回妾胡氏。起初，两人之间的生活是融洽的。徐渭为此写下了一首《纳妾》诗：“角枕覆衾长，新香异旧香。昔年曾射雉，此日复求凰。杏靥开春镜,鸦云换晚妆。夫君莫早起，初日未高梁。”诗中“射雉”出典于《左传》。周朝贾大夫长得很难看，娶了个美丽的妻子。妻子三年对他不言不笑。贾大夫带着妻子去野外打猎，射雉而获，从而表现出自己的才能，妻子才露出笑容。徐渭将此典用在诗中，意在说明他当年是以才华博得潘似的恩爱的。“求凰”即“凤求凰”，是汉代司马相如向卓文君求爱时所唱的一首恋歌。从诗的内容看，胡氏颇有几分颜色，而且对徐渭也挺体贴，劝他不要早起。因而，徐渭才会有“新香异旧香”的感觉。然而，好景不长。不久，矛盾就出来了，问题出在婆媳关系上。徐渭只用一个“劣”字来判定胡氏，而没有说出具体的事实。虽然胡氏对徐渭很体贴，而对婆婆就不那么恭敬了。徐渭买回胡氏的本意，是想让她伺候母亲的，胡氏的行为恰恰违背了徐渭的初衷。而徐渭却是一个极重亲情的人，容不得胡氏的行为。此外，恐怕还有一个不容忽视的原因，即此时徐渭的经济状况并不宽裕。这从《将牧羊，庚戌元旦筮之，得明夷之上六》诗中可以得到印证，其中说：“入地登天两不妨，从来作戏在逢场。门前昼静堪罗雀，城上春深好牧羊。被褐家门孙令尹，入山经纪卜中郎。已知此意无人会，闲坐看云点太阳。”诗下原注：“孙叔敖事见《史记》，余先子宦归，家甚贫，故引用其事。”明代的官员俸禄很低，徐渭的父亲虽官至同知，名列大夫，但去世之时，并没有给家庭留下太多的财产。又由于两位兄长先后过世后，家产被他人夺去，家中的财产几乎荡尽。所以，徐渭感到“家甚贫”。从诗题来看，此诗写的是嘉靖二十九年庚戌（1550）正月初一事，可见徐渭当时生活是较为艰难的。而艰难的生活更容易激化婆媳矛盾。最后，徐渭不得不将胡氏卖掉。胡氏提出诉讼，徐渭为应诉而花费了许多精力。

嘉靖三十八年（1559），徐渭已与杭州王家议好婚事，打算于次年三月十八日入赘王家。而实际上，徐渭是于夏天才入赘王家的。但这次婚姻极其短暂，到了秋天，徐渭便离开了王家。《畸谱》记载：“夏，入赘杭之王，劣甚。始被诒而误，秋，绝之，至今恨不已。”至于王家女怎么个“劣甚”，徐渭没有留下任何文字，但从他叙述语气来看，他好像是被人设局而受骗的。此事对徐渭的影响很大，以至于晚年还表示“至今恨不已”。嘉靖三十九年（1560），胡宗宪为了使徐渭安心于幕僚工作，在杭州为他聘定张氏为继室。徐渭对此事非常感激，写了《谢督府胡公启》一文。徐渭说：“渭失欢帷幕，动逾十年，俯托丝萝，历辞三姓。过持己见，遂骇众闻，诋之者谓矫激而近名，高之者疑隐忍以有待。明公宠以书记，念及室家，为之遣币而通媒，遂使得妇而养母。”徐渭叙述了过去婚姻失败的原因在于“过持己见”，也就是说要求过高。胡宗宪是豪爽之人，不仅为徐渭聘张氏，而且聘金也是由他支付的。徐渭完全是坐享其成。但这段婚姻最终仍以悲剧结束。嘉靖四十五年（1566），徐渭精神病复发，竟将张氏杀死。

嘉靖三十年（1551），徐渭从绍兴来到杭州，在玛瑙寺陪伴湖州人潘釴读书两个月。徐渭有一次到寺西的岳鄂王祠游览，岳鄂王祠两边廊庑上的壁画引起了他的注意。这些壁画描绘了岳飞的成长及征讨、抚降等事迹，人物形象栩栩如生，画面不能表达的事件，就以简单的文字予以表述。徐渭感到绘画的表现力比史书的记载更明畅，也更动人。几天后，徐渭在市场里买了四幅《明堂图》。《明堂图》描绘的是人体上的脉络和穴位，以长萦表示脉络，以圆孔表示穴位，而将脉络和穴位的名称记在旁边，从而使人一目了然。这使徐渭很受启发。他觉得《四书》的语言，是圣贤留下的精髓，就像人体上的脉络和穴位一样，应该让人一目了然，而不应该像传注讲章那样，使人越读越糊涂。有感于此，他开始用五色笔给《四书》绘插图，用形象来表达圣贤之意。这便是《四书绘》产生的过程。《四书绘》是有确切年代可考的徐渭早期绘画作品之一。实际上，徐渭对绘画的关注，起于更早的时候。在越中结社之时，他已留意陈鹤的绘画，并在陈鹤那里见到过杭州的名画家沈仕，与沈仕结为朋友。他曾亲眼看过沈仕的许多画作，为沈仕写过题画诗，如《青门山人画滇茶花》写道：“武林画史沈青门，把兔申藤善写生。何事胭脂鲜若此，一天露水带昆明。”从诗的内容来看，徐渭此时虽未着手绘画，但对绘画的评论已有见地。