致公认从来未见过如此怪僻、乖张、不近情理的封疆大吏，居然视自己的僚属和过往的官员为寇仇。京师和外地的官员到了海瑞的辖区，如同进入敌国；下属的官员一举一动都要登记在册，简直形同囚犯。这样古怪的巡抚，当然无法见容于官场，弹劾的奏章也就不断地送达御前。
内阁和吏部的处置办法仍是将海瑞调任闲曹，然而海瑞脾气之大似乎超过了官场的公愤。他给隆庆皇帝写了一封信，告诫皇上说：“今举朝之士皆妇人也，皇上勿听可也。”至于他自己，当然更不屑与这些不像男人的家伙为伍。一气之下，他跑回海南老家，一去就是十五六年。
二、不合时宜的人
与前两次罢官不同，海瑞这一回似乎很少得到同情。
道理很简单：上两次海瑞反对的是个人（胡宗宪、鄢懋卿或者嘉靖皇帝），这一回他反对的是整个官场。这个强劲的对手不论由谁出面来和海瑞对抗，都有两个坚强的后盾：一是根深蒂固、积重难返的官场传统，二是盘根错节、人数众多的文官集团。海瑞却只有一个人。他的武器，只不过是些空洞的道德信条，早就被人束之高阁，或视为粉饰。他的资本，也只是靠不怕死挣来的名声，一旦得罪了全体官僚，也就变得一文不值。所以，海瑞向整个官场发起的进攻，就只能是以卵击石，不碰得头破血流才是怪事！
显然，海瑞同整个官场是格格不入的。这使得他在第三次斗争中极为孤立，就连过去大力支持他的人和享有声誉清名的人都站到了他的敌对方面。那么，海瑞为什么会是这样一个人，他又为什么要同整个官场过不去呢？
看来，我们还必须从头说起。
海瑞的童年贫穷而不幸。父亲海翰在他四岁时即已去世，留下母亲谢氏（时年二十八岁）和他孤儿寡母两人相依为命，靠着几亩薄田和谢氏做些针线女红维持生计。他的生存环境很差，海南历来就是我们帝国天荒地远的边鄙，琼山也是一个穷困的县份。文人墨客望而生畏谈虎色变，历代皇帝则把它看作流放犯人以示惩罚的好地方。海瑞童年的生存环境一定是荒凉、贫穷而乏味，同时也很闭塞的。没有京都的恢宏气势，市井的繁华景象，古城的人文荟萃，水乡的悠长韵味。因此海瑞身上，也没有与之对应的东西，比方说，没有一个高级官员应有的雍容华贵，似乎也没有什么灵秀之气和人情味儿，反倒显得有些吝啬、琐屑和小气。他的政敌攻击他“不识大体”，倒并非诬蔑不实之词。因为他曾规定下属只有先交上一张誊正的公文，才能在他那里再领一张空白的公文纸。
海瑞的家庭生活也很不幸。中国人心目中最不幸的三件事：幼年丧父，中年丧妻，晚年丧子，他都有份。他曾结过三次婚，又有两个小妾。前两位夫人都因与婆母不和而被休去，其中第二位夫人过门才刚刚一个月。第三位夫人则在他五十五岁时可疑地死去。第三位夫人和一位小妾先后生过三个儿子，但都不幸夭折。不孝有三，断后为大，何况海瑞还是独子，就更是不幸之至了。
如此算下来，同海瑞一起生活时间最长的人，大约就是他的母亲谢老夫人。谢氏是一个坚强的女人，在极其困难的条件下把海瑞抚养成人，可谓呕心沥血，甘苦备尝。她既是慈母，又是严父，曾向海瑞口授经书，后来为他择师也谨慎而严格。海瑞对母亲，既感谢又孝顺，在南平、淳安、兴国和苏州时，都把母亲接到任上一起生活。母亲对他的影响也极深。史家多以为海瑞的善良、忠诚、刚毅和正直，就有他母亲的影子。
不过年轻时守寡带大儿子的老太太，心理上多少会有些问题，与儿媳的关系也不容易搞好；而一个家庭生活不幸的人，人际关系也往往紧张。史料证明，海瑞的家庭纠纷，不仅已成为政敌攻击的口实，也为时论所不满，谓其“笃于行谊，薄于闺阁”。其实这八字评语是海瑞祭文中的话，已经很客气了，政敌们嘴里说的肯定要难听得多。中国人是十分看重家庭生活的。家伦理也就是国伦理。人们相信，一个孝敬父母的人也一定能忠于国君（所以海瑞的忠诚无人怀疑），而一个夫妻关系不好的人也一定很难和同僚和睦相处（这是海瑞遭受攻击最多之处）。许多中国人都认为，正如一个不会品尝食物滋味的人也一定没有艺术鉴赏力，一个没有男女之情的人也一定不通人情。因此海瑞的政敌们都以幸灾乐祸的口吻谈论他家庭关系的紧张，并以此作为他不好合作的一个证据。
海瑞的童年生活既如此单调，家庭生活又那样不幸，则他唯一的乐趣就只有工作。只有疯狂的工作才能填补他心灵的缺憾。海瑞确实是个工作狂。只要是他任内的事，都会不遗余力地去做，而不惮其细碎烦琐。他任应天巡抚时，依例每月初二、十六两日放告，每次受理案件竟达三四千之多，还不包括平日受理的人命、强盗和贪污案。其他职分事无巨细，也往往躬亲，几无休息之日。这种作风，与当时文恬武嬉的官场风气自然格格不入。谁也不愿意和这样一个古板、认真、不讲情面，只知疯狂工作而不通人情世故的人共事，更不愿意让他真的被树为官僚的楷模，因为谁也做不到他那样。
海瑞认为，既然太祖洪武皇帝是本朝的开国君王，既然君无戏言而太祖又制定了这些法令，既然这些法令又是完全符合圣人理想的，那么，就应该坚决执行，不打折扣，而不能考虑执行起来有无困难。因此，他不但身体力行，对微薄的薪金毫无怨言，而且决心像—个勇敢的斗士，向一切腐败的行为开火。
海瑞实在太天真了。他不知道孔子的主张原本只是一种理想，也不知道本朝开国已经二百年。洪武皇帝一些心血来潮的政令，即便是在当时，有的也只是一纸具文。他当然更不知道，官场的弊病并非只有贪墨，还有危险更大的一件事情———派系斗争。
海瑞其实一开始就卷入了派系斗争，只不过他自己不知道。他既是派系斗争的受害者，也是派系斗争的受益者。他的升官和罢官，除一次是因为得罪皇帝外，其他几次都与派系斗争有关。第一次升官，由兴国知县调升户部主事，是因为严嵩倒台而他反对过严嵩的党羽；第二次升官，是因为徐阶的引荐而徐阶反严，罢官则因张居正主政而他又非张居正一党；第三次复出，则是因为张居正已死并被问罪。但海瑞并不把自己的升迁和朝局的变化联系起来。他坚持认为这是道德上善与恶斗争的结果：自己被重用，是正气得到伸张；自己遭贬黜，则是邪恶占了上风。因此他一如既往地按照自己简单的善恶二元论思想去判断是非决定行止：是善的就支持，是恶的就反对，而无论对方属何派系，也无论他们与自己是有恩还是有仇。
因此，海瑞到应天巡抚任上，就拿徐阶开刀。
徐阶一向是支持海瑞的，他甚至是海瑞的救命恩人。海瑞因痛骂皇帝而被捕下狱，刑部参照儿子诅骂父亲的条例，主张处以绞刑，被徐阶压了下来。嘉靖皇帝自己对于杀不杀海瑞也一直都很犹豫。他一会儿承认海瑞说得也有道理，一会儿又觉得不杀了这个目无君父的畜生简直忍无可忍。徐阶便找了个机会悄悄对嘉靖说：像海瑞这样的草野狂夫，根本就不值得为他动怒。他无非明知皇上圣明，故意来找些岔子，以便沽名钓誉。皇上杀了他，反倒成全了他。不如干脆不加罪，他也捞不着虚名，大家也更会颂扬皇上德被四海。这话虽然不中听，但对海瑞却是小骂大帮忙，非如此不能将其从那暴君的虎口中救出。当时徐阶如果在嘉靖的耳边煽风点火添油加醋，十个海瑞也得粉身碎骨。
海瑞出狱后，徐阶对他信任提拔有加。海瑞这一阶段的青云直上，与徐阶有很大关系。海瑞虽然迂阔，还不至于不识好歹。对于这位于己有救命之恩又有提携之恩的首辅，内心十分地感激。徐阶主政以后，也确实做了不少好事，比如清除了严嵩的党羽，法办坑害人的巫师，减免了四十万两盐税，人民拥护，海瑞也拥护。于是，徐阶在海瑞心中，就成了一个正人君子。当徐阶受到高拱、李芳等人攻击时，海瑞是坚决站在徐阶一边的。此时海瑞对徐阶，可以说是感激、敬重，还有些崇拜。
然而海瑞到应天巡抚任上后，对徐阶的态度就大为改变。因为海瑞一到任，就发现此地最为严重的社会问题，是乡绅豪强大量地占有土地，使耕者无其田，而税收无由出。这些土地，都是土豪劣绅们从农民手里侵夺的，农民当然很想收回。听说连皇帝都不怕的青天大老爷海瑞来了，穷苦无告的农民们便纷纷向海瑞提出控诉，据说仅松江府华亭县（也就是现在的上海），提出控诉的农民就达万人之多。松江府华亭县正是徐阶的故乡，而徐阶也正是侵占民田最多、最为小户农民痛恨的一个大地主。徐阶一家，是个大家族，几代没有分家，因此成员多达数千。他们一家占有的土地，数字也很吓人，有说二十四万亩的，有说四十万亩的。这么多的土地，当然不可能是他的家人诚实劳动所得，只能来自巧取豪夺。更为严重的是，他们兼并土地以后，还仗势拒交赋税。地方官畏于徐阶的官威，不敢认真催收，只好在其他自耕农身上加重盘剥，以完成征收赋税的任务。无法忍受的农民走投无路，又只好把土地抵押甚至奉献给徐家，以换取保护。如此恶性循环，结果是：天怒人怨，民不聊生。
徐阶一家这种损公（国家）又损人（农民）的利己行为，使清廉、正直的海瑞十分震惊，而徐阶的形象，在他心目中也一落千丈。当然，上述不法行为，主要是徐阶的弟弟和子侄们干的，徐阶也曾有所劝阻，但劝阻并不得力，实际上睁眼闭眼，默许放纵，姑息养奸。海瑞眼里是揉不得沙子的，何况此事与他的原则抵触太大：既不符合他均贫富、一天下的社会理想�