如何不改表结构动态扩展字段?

简介: 痛点软件行业唯一不变的就是变化,比如功能上线之后,客户或 PM 需要对已有的功能增加一些合理的需求,完成这些工作必须通过添加字段解决,或者某些功能的实现需要通过增加字段来降低实现的复杂性等等。

痛点

软件行业唯一不变的就是变化,比如功能上线之后,客户或 PM 需要对已有的功能增加一些合理的需求,完成这些工作必须通过添加字段解决,或者某些功能的实现需要通过增加字段来降低实现的复杂性等等。


这些问题都会改动线上的数据库表结构,一旦改动就会导致锁表,会使所有的写入操作一直等待,直到表锁关闭,特别是对于数据量大的热点表,添加一个字段可能会因为锁表时间过长而导致部分请求超时,这可能会对企业间接造成经济上的损失。


解决方案

增加 json 格式的扩展字段。


下面配合一些代码来描述这个解决方案,读者便于去理解。


mysql 数据库脚本:

DROP TABLE IF EXISTS `cs_dustbin`;
CREATE TABLE IF NOT EXISTS `cs_dustbin` (
  `id` VARCHAR(45) NOT NULL COMMENT '主键自增id',
  `rfid_no` VARCHAR(20) NOT NULL COMMENT 'rfid 卡号',
  `state` INT(1) NOT NULL COMMENT '垃圾桶状态:0:已注销;1:未使用;2:待使用;3:已使用(绑定收集点);',
  `user_id` INT NOT NULL COMMENT '登记人,负责录入垃圾桶的人',
  `type` INT(1) NOT NULL DEFAULT 1 COMMENT '垃圾桶类型:1:餐厨垃圾桶',
  `street_code` INT(11) DEFAULT NULL COMMENT '所在镇街 code,根据状态,这里的含义可能是领用镇街、退还镇街。',
  `create_time` DATETIME NOT NULL DEFAULT now() COMMENT '创建时间',
  `update_time` DATETIME NOT NULL DEFAULT now() COMMENT '更新时间',
  `ext` VARCHAR(1000) NOT NULL DEFAULT '{}' COMMENT '扩展字段',
  ...
  PRIMARY KEY (`id`))
ENGINE = InnoDB
COMMENT = '垃圾桶表';

Java 代码:

import com.alibaba.fastjson.JSON;
import lombok.Data;
import javax.validation.constraints.NotNull;
import java.util.Date;
import java.util.List;
/**
 * 垃圾桶实体
 * Created by Blink on 6/28/2018 AD.
 *
 * @author Blink
 */
@Data
public class Dustbin {
    private String id;
    /**
     * rfid 卡号
     */
    @NotNull
    private String rfidNo;
    /**
     * 垃圾桶状态:0:已注销;1:未使用;2:待使用;3:已使用(绑定收集点);
     * 对应 Dustbin.StateEnum 类
     */
    @NotNull
    private Integer state;
    /**
     * 录入垃圾桶的人员id
     */
    @NotNull
    private Long userId;
    /**
     * 垃圾桶类型:1:餐厨垃圾桶
     * DefaultValue: 1
     */
    @NotNull
    private Integer type;
    /**
     * 所在镇街 code
     * 根据状态,这里的含义可能是领用镇街、退还镇街
     */
    private Integer streetCode;
    /**
     * 创建时间
     * defaultValue : now()
     */
    @NotNull
    private Date createTime;
    /**
     * 更新时间
     */
    @NotNull
    private Date updateTime;
    /**
     * 扩展字段,详细数据查看 DustbinExt.java
     * DefaultValue: {}
     */
    private String ext;
    ...
    public DustbinExt getExtObject() {
        return JSON.parseObject(this.getExt(), DustbinExt.class);
    }
    public void setExtObject(DustbinExt ext) {
        this.ext = JSON.toJSONString(ext);
    }
    /**
     * 垃圾桶扩展属性
     * Created by Blink on 6/28/2018 AD.
     *
     * @author Blink
     */
    @Data
    public static class DustbinExt {
        /**
         * 所在镇街
         * 根据状态,这里的含义可能是领用镇街、退还镇街、绑定的镇街
         */
        private String street;
        /**
         * 客户(收集点)id,绑定收集点的时候需要填入
         * 根据目前的需求(2018-06-29),当收集点解绑的时候
         * 需要保存垃圾桶最新绑定收集点名称,所以在解绑垃圾桶的时候不会把这个信息删掉
         * 只有当绑定收集点的时候才把他覆盖
         */
        private Long customerId;
        /**
         * 客户(收集点)名称,绑定收集点的时候需要填入
         * 根据目前的需求(2018-06-29),当收集点解绑的时候
         * 需要保存垃圾桶最新绑定收集点名称,所以在解绑垃圾桶的时候不会把这个信息删掉
         * 只有当绑定收集点的时候才把他覆盖
         */
        private String customer;
        /**
         * 损坏部位
         * 1:桶盖;2:桶口;3:桶身;4:桶轴;5:桶底;6:桶轮;
         * 对应 DustbinDamagePartEnum 类
         */
        private List<Integer> parts;
    }
    ...
}

image.png

...
/**
 * 扩展字段,详细字段查看 DustbinExt 类
 * DefaultValue: {}
 */
private String ext;
public DustbinExt getExtObject() {
    return JSON.parseObject(this.getExt(), DustbinExt.class);
}
public void setExtObject(DustbinExt ext) {
    this.ext = JSON.toJSONString(ext);
}
...

可以看到 ext 字段就是用来存储 json 格式的数据,它可以动态地增加任何字段,甚至是对象,不需要通过 DDL(Data Definition Language) 去创建字段,非常适合用来解决上面提到的问题。


Java 代码在这里起到辅助性作用,通过定义一个内部类来管理扩展字段的属性,方便我们了解和管理扩展字段,提高代码的可读性和可维护性,java 这种方式也是笔者总结出来的较为优雅的做法(个人观点)。


局限性

有经验的读者可能会提出,ext 字段在 Mysql 5.7.8 以下版本无法对扩展字段中的某一个或一部分字段建立索引,因为 Mysql 5.7.8 版本以下不支持(Mysql 5.7.8 支持为 Json Data Type 建立索引)。


没错,这是这个解决方案的一个局限性,在 Mysql 5.7.8 以下版本,我的建议是, ext 扩展字段不要存储热点数据,只存储非热点数据,这样就可以避免查询操作,降低维护 ext 字段带来的成本和风险,那如何识别新增字段是不是热点数据呢?这个需要结合实际业务需求来判断,也可以询问对业务和技术更有经验的同事,便于读者更快得出结论。


终极版解决方案

在一些极端的情况下,变化可能来得太快,而我们要的是减少变化带来的成本和风险,所以在表设计之初可以根据自身经验,或者找更有经验的人寻求帮助,预估一下需要预留多少个备用字段,再配合扩展字段,基本上可以把改变(添加字段)表结构的次数降至一个非常少的次数。


总结

在特殊情况下,通过扩展字段 + 预留字段基本上可以做到动态扩展字段,又不会影响为热点数据建立索引的情况,这样我们得到了一个非常灵活的表结构,便于我们应对未来的变化,但是请注意,要维护好我们的实体,包括里面的每一个字段,敬畏每一行代码。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
目录
相关文章
|
缓存 Kubernetes API
K8S Pod 停止不掉一直处于Terminating状态问题解决
主要是从pod 停止不掉一直处于Terminating到 发现k8s node处于NotReady状态,在发现为什么处于NotReady , 再到发现node 状态因为PLEG is not healthy: pleg was last seen active 等问题
4755 0
K8S Pod 停止不掉一直处于Terminating状态问题解决
|
Arthas 监控 Cloud Native
用 Arthas 神器来诊断 HBase 异常进程
HBase 集群的某一个 RegionServer 的 CPU 使用率突然飙升到百分之百,单独重启该 RegionServer 之后,CPU 的负载依旧会逐渐攀上顶峰。多次重启集群之后,CPU 满载的现象依然会复现,且会持续居高不下,慢慢地该 RegionServer 就会宕掉,慢慢地 HBase 集群就完犊子了。
用 Arthas 神器来诊断 HBase 异常进程
|
API 开发者
在线CAD实现图纸比较功能
MXCAD提供了一项实用的图纸比对功能,帮助设计师高效识别不同版本CAD图纸间的改动。用户只需几个简单步骤即可启动比对过程:打开MXCAD在线示例,上传目标图纸,选择“图纸比对”并加载待比对文件。系统会清晰标出所有差异,甚至支持实体定位以便更直观地查看变化细节。此外,MXCAD还开放了相关API,允许开发者根据具体需求进行定制化二次开发,如利用`McObject.loadDwgBackground()`方法加载背景图纸并通过`MxCompare`类获取差异数据等。关注“梦想云图网页CAD”公众号了解更多资讯。
650 100
在线CAD实现图纸比较功能
|
10月前
|
机器学习/深度学习 自然语言处理 并行计算
Transformer 学习笔记 | Seq2Seq,Encoder-Decoder,分词器tokenizer,attention,词嵌入
本文记录了学习Transformer过程中的笔记,介绍了Seq2Seq模型及其编码器-解码器结构。Seq2Seq模型通过将输入序列转化为上下文向量,再由解码器生成输出序列,适用于机器翻译、对话系统等任务。文章详细探讨了Seq2Seq的优势与局限,如信息压缩导致的细节丢失和短期记忆限制,并引入注意力机制来解决长序列处理问题。此外,还介绍了分词器(tokenizer)的工作原理及不同类型分词器的特点,以及词嵌入和Transformer架构的基础知识。文中包含大量图表和实例,帮助理解复杂的概念。参考资料来自多个权威来源,确保内容的准确性和全面性。
|
6月前
|
供应链 监控 安全
Sentinelone如何防范供应链攻击
供应链攻击是一种针对供应链薄弱环节的网络安全威胁,通过破坏信任关系,攻击者间接入侵企业系统。此类攻击利用软件更新、硬件生产或第三方供应商的漏洞,潜伏时间长且影响广泛。例如,塔吉特数据泄露事件中,黑客通过暖通空调供应商侵入系统,导致4000万张信用卡信息被盗。为防范此类攻击,企业需强化特权访问管理、实施零信任架构、培训员工并使用身份访问管理(IAM)解决方案。通过部署蜜罐令牌和持续监控网络流量,可早期检测异常行为。供应链攻击因利用信任关系且影响范围广而极具危险性,企业应主动防御以降低风险。
428 6
|
9月前
|
机器学习/深度学习 人工智能 运维
让AI“接管”网络运维,效率提升不只是传说
让AI“接管”网络运维,效率提升不只是传说
852 16
|
API Docker 容器
如何免费获取 ChatGPT API Key?
上篇文章介绍了NextChat项目,只需配置ChatGPT API Key即可拥有私人ChatGPT网页应用。本文继续介绍免费获取API Key的来源——GPT_API_free,一个拥有13.6K Star的Github开源项目。需用Github账号绑定领取Key,支持gpt-3.5-turbo、embedding、gpt-4,但gpt-4每天限3次调用。GPT_API_free也提供付费版API,以支持项目持续运营。
7636 0
如何免费获取 ChatGPT API Key?
|
编解码 搜索推荐 API
通义万相文本绘图与人像美化解决方案体验与评估
通义万相提供详尽文档和简易API调用,适合新手部署。服务集成便捷,响应迅速,模型泛化能力强,支持多样化风格,生成图片质量高。建议增强交互式编辑、多语言支持及智能推荐功能。相比竞品,通义万相成本控制优秀,易用性强,适用范围广泛。
535 8
|
数据采集 存储 数据可视化
SharePoint List
【6月更文挑战第10天】
298 1
|
Dubbo Java 应用服务中间件
SpringCloud微服务简介
SpringCloud微服务简介
329 1