在淳安县令的任上，海瑞有许多为官清廉的事迹。
一是担任县令期间，“生活如寒士”。
《明史》卷226《海瑞传》载，他从南平县（今属福建省）教谕（负责县教育的官员）升为淳安县令，过着“穿布袍、吃粗粮、粗米，让老仆人种蔬自给”的生活，百姓称赞他如“寒士”（即穷书生）。他母亲过大寿时，海瑞也未大办寿宴招待宾客，而仅仅添买了二斤猪肉加餐而已。浙江总督胡宗宪曾对人说：“昨闻海瑞办母寿，市肉二斤矣。”他的俭朴清苦生活，受到浙江总督的称赞。
他为官四十多年，病逝时，已是七十二岁老人。负责朝廷的督察官员的佥都御史王用及到海瑞家吊丧时，见其宅中清贫之极，“葛帏（葛麻帐子）敞籝（竹子为料的家具），有寒士所不堪者，因泣下，醵金为敛（凑钱为之办丧事）”。
二是接待上级官员，按朝廷标准办事，决不行贿讨好。
一次浙江总督胡宗宪的儿子经过淳安县，县内驿站按朝廷公布的规格接待。胡公子极为不满，当场命令家丁用绳子把驿站小吏绑起来，吊在树上，用皮鞭抽打。海瑞听到后，立即赶到驿站，看见此种情况，顿时义愤填膺，立即命令松绑放人，并说：“不管你是谁，都不能在我县内胡作非为！” 家丁说：“这是总督胡大人的公子。”海瑞立即补充说：“以往胡总督来此巡视，曾命令地方官员不得铺张接待上级官员。如今胡公子这样霸道行事，可能是假冒的公子。”他立即命令将胡公子驱逐出境，并把胡公子沿路勒索的钱物统统没收，放入淳安县库中。事后，海瑞又马上写信给胡宗宪总督，告之有人自称胡公子，沿途仗势欺民。此假冒公子定会败坏总督大人名誉，我已将他驱逐出境。胡宗宪是抗倭名将，事后也没有怪罪海瑞。这说明海瑞巧妙地处理了胡公子，得到淳安县百姓的交口称赞。
还有一次，左副都御史鄢懋卿巡查州县，路过淳安县，驿站的酒饭供应水平一般，较为简便，引起鄢懋卿的不满。但他知道海瑞的清廉刚正，只好收敛离开。据《财经》刊文统计，海瑞接待上级官员的费用，从12995两银子下降到925两，节省了12025两银子，按人民币计算达325万元。不久，海瑞调任嘉兴府通判。但鄢懋卿却又暗中授命巡盐使袁淳治海瑞之罪，把海瑞贬为兴国州判官。直至明嘉靖四十一年（1562）由于其他官员的推荐，海瑞才改任诸暨知县。嘉靖四十五年（1566），升任户部主事。
三是他任户部主事时，劝说嘉靖皇帝勤理国事。
嘉靖皇帝晚年，因追求长生不老，不理朝政。海瑞上书直谏，言事直指皇帝。开头说：“为直言天下第一事，以正君道、明臣职，求万世治安事：君者，天下臣民万物之主也。惟其为天下臣民万物之主，责任至重。凡民生利病，一有所不宜，将有所不称其任。是故事君之道宜无不备，而以其责寄臣工，使之尽言焉。臣工尽言，而君道斯称矣……”这段话的大意是说：“为了匡正君道，明确臣下的职责，求得万世治安，我要直陈天下第一事：国君，是天下臣民万物的主人，所以责任最为重大。如果民生措置失当，就是君主没有负起责任。臣子就应当尽量替君主服务 ，忠于职守，畅所欲言。臣子尽到了自己的职责，君子的责任也才算尽到了……”接着，他说：“臣受国厚恩矣，请执有犯无隐之义，美曰美，不一毫虚美；过曰过，不一毫讳过。不为悦谀，不暇过计，谨披沥肝胆为陛下言之。”海瑞表示，他宁可直言得罪，也不想说假话，好的就是好的，坏的就是坏的，不敢有一丝一毫的隐瞒。
海瑞接着又举汉唐盛世时的贤君汉文帝、汉光武帝与唐太宗勤政治国为例，盼望嘉靖皇帝向贤君们学习，勤政为国，罢斥奸臣严嵩父子，让百姓称快，不要一意玄修，妄求仙桃、灵芝。最后，他奏道：“今大臣持禄而好谀，小臣畏罪而结舌，臣不胜愤恨。是以冒死，愿尽区区，惟陛下垂听焉。”
嘉靖皇帝看了这道奏疏而大怒，把奏书抛在地上，并下命令“趋执之，毋使得遁”。站在一旁的宦官告诉皇帝说：“此人素有痴名，闻其上疏时，自知触忤当死，市一棺，诀妻子，待罪于朝，僮仆亦奔散无留者，是不遁也。”皇帝听了此语，默然良久，又拾起奏疏又览一遍。数日后，皇帝对侍臣说：“此人可方比干（商代大臣谏纣王而死），第朕非纣耳。”不久嘉靖皇帝病重，召大臣议论禅位之事。但仍令海瑞下狱，交刑部议罪，议处死刑。两个月后，嘉靖皇帝病死。隆庆元年（1567），明穆宗即位，海瑞才出狱复官。
隆庆三年（1569），海瑞升任右佥御使，巡抚金陵十府，衙署设在鱼米之乡苏州。在苏州他首先打击豪强兼并土地，命令乡坤大户退还侵占的农民土地，由农民自耕。前任宰相的徐阶一家占有耕地四十万亩之多，海瑞令其退出三十万亩，并将作恶多端的徐阶弟弟徐陟逮捕入狱，受到苏州百姓的称赞。
