黄仁宇在《万历十五年》中写到海瑞，用了这样一个标题—“古怪的模范官僚”，这话粗看起来似乎有点道理，细细琢磨，并不尽然。何谓“古怪”？这里面有一个视角问题，有一个立场问题。他为官清正廉洁，刚直不阿，锋芒毕露，在吏治败坏、贪赃枉法盛行的官场，显得特立独行，在那些贪官、庸官眼里，如芒刺在背，格格不入，委实有些“古怪”。
他在担任南平县教谕(县学教官)时，主管监察事宜的御史前来考察，到了学宫，命令教官们下跪迎接，海瑞却立而不跪，义正词严地说：如果到御史衙门参见，理当行下属礼，然而此地乃是师长教士之地，教官不应当屈膝。另外两名教官挟住海瑞下跪，他依旧立而不跪，形成奇特景象：两个下跪的人中间夹一个站立的人，像一个山字形的笔架，当时人称之为“笔架博士”。他在县学里，用儒家的圣贤之道来教育诸生，不收“束修”(学费)，拒绝诸生送来的馈赠。他的上司起先感到古怪，后来明白了他的用意，礼遇有加。
升任淳安知县后，他知道这是一个贫困县，格外关注民生，裁革“无名常例”(各种名目的税费)，自己除了微薄的薪水外，不再收取一丝一粟的外快，他和仆人过着清苦的生活。为了紧缩开支，县衙门雇佣的吏胥(办事人员)，公事完毕以后，各自回家务农，不舍弃本业。总督胡宗宪之子从杭州返回徽州，路过淳安，强令驿站提供交通工具，驿站主管因为他不是官员，予以拒绝。此人依仗父亲的权势，把驿站主管倒悬在凉亭里。海瑞闻讯赶来，不温不火地说道：胡大人清廉无二，早就关照过，儿子路过淳安时，地方官不要铺张浪费招待。如今此人所带行李既多又重，必定不是胡大人之子。随即没收了行李中几千两银子等贵重物品，派人快马加鞭前往杭州，把情况一五一十报告胡宗宪。胡宗宪哑巴吃黄连，有苦说不出，却也抓不住把柄，只好不了了之。
巴结严嵩之子严世蕃而官运亨通的鄢懋卿，谋得了都御史、总理盐法的差事，贪赃枉法，成为暴发户。他带着小妾巡游，小妾乘坐“五彩舆”(彩色花轿)，由十二个女子抬着，招摇过市。每到一地，令地方长官款待，所用厕所豪华无比，不仅用绫罗绸缎装潢，而且马桶是白银打造的。路过淳安，海瑞我行我素，只用粗茶淡饭招待，一再声明，淳安是贫困县，无力接待贵客，请饭后立即启程。鄢懋卿恼怒得很，正要发作，随从提醒胡宗宪之子在这里的遭遇，只得灰溜溜地离开此地。
对于如何当好县官，海瑞有自己的独到见解，他说：“知县者，知一县之事，一民不安，一事不理，皆知县责也。”上面的朝廷是我的父母，中间的巡抚、巡按是我的昆弟，下面的里老、百姓是我的子姓。处理这些关系，各有正道。他反对因循苟且的为官之道：“若谓止可洁己，不可洁人，洁人生谤；若谓不可认真，认真取祸；不顾朝廷之背否，以乡愿自待，以乡愿待人，弃吾子姓，弃吾昆弟，莫甚焉。”在他看来，为了招待过往的官员，向百姓摊派税费，还自诩为通融，这个口子绝不能开：“其言不过一开口而已，不知此口一开，惠私一人，害千万人，不可开也。曰：不过费纸一张而已，不知此纸一发，惠私一人，害千万人，不可发也。”
