海瑞有子男二人，长名中砥11岁，次名中亮9岁，在海瑞入狱的那一年（嘉靖四十五年）殇逝。晚年又得一子，是侧室丘氏（丘浚曾孙女）所生，不幸3岁而殇。从弟海玥的第二个男孩叫中适，论序继海瑞为子。
    海瑞廉介一生，为当时人所敬仰，海瑞家乡成为当时人观瞻的胜地。海瑞谢世后，由于后继乏人，其故居逐渐衰败，至清初，故址已转鬻他姓。
    清康熙二十六年（1687），琼州知府佟湘年对一代忠臣的身后遭际感到悲愤，他寻访了海瑞故居的遗址，便以官价赎回，刻石立界标明四至，明令今后不许任何人以任何借口占用。又在遗址中间创建海公祠和丘公祠，购买祭田，请二公后人管理祠堂。
    康熙四十二年（1703），都察院右佥御史彭鹏巡按至琼，对海瑞祠的规制不满，特命雷琼道副使黄国材、琼州知府贾棠在海瑞故址上扩建祠宇，同时创建苏公祠和丘公祠，使三祠鼎立外绕以垣，统称为三贤祠。海瑞故居遗址上的三贤祠是海南历史上最为壮观的纪念建筑群体。
    乾隆三十四年（1769）秋，广东承宣布政使秦其（）立碑树于海公祠中，碑上刻海公故址四至范围，严禁任何人侵占动用。这块海公故里碑保存至今，碑高1.7米，宽0.53米，厚0.13米，碑文正楷阴刻。
    清末民初，三贤祠已经崩败，后人无力复修。民国9年（1920）八月，交通部长赵蕃，陆军中将、督办海疆防务、陕西省长李根源，连名刻立海瑞故里碑及丘浚故里碑各一块，树于海瑞故居遗址上。
    解放后，海瑞故址成为菜地。1978年，当地百姓自动集资在原址上兴建海公庙一间，系常见的土木小屋，供奉海公木塑像及海南名贤、本地人林杰（府、县志均有传）的木制神位，并找回上述二碑竖于庙檐之下。
    1991年，海南省人民政府有关部门及海南各界人士开始在故址上复建海瑞故居，表达了人民对海瑞的敬仰心情。
    复建的海瑞故居占地1363平方米，是以海瑞故居的原貌为依据，参照明代海南建筑风格加以设计的。前门为排坊式，上正中悬挂“海瑞故居”木匾，匾上方有“粤东正乞”四字匾。入了前门便见前后二进正屋，皆一厅两房，正屋两侧为横屋，设书斋、陈列厅、花厅、杂用间各一间，建筑占地面积约是总面积的三分之一。其中正屋占地125平方米，十柱抬梁结构，四面石墙，屋檐高3.6米，十柱全用进口坤甸木，椽桷全用进口梢木，障板全用海南特产铁树和抱密树精制而成。四周墙垣长154米，高2.2米，围墙上安青竹窗。海瑞故居在海瑞庙旁，坐北向南，西向红城湖，背靠朱桔里大街。它是由琼山籍著名的高级建筑师郑振鈜先生设计的。承建者是海瑞故里的后人骆书富先生，现有工程约用人民币40万元，由琼山县政府、府城镇政府拨款和各界人士捐资兴建。