【视点】混合型事务处理

本文涉及的产品
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介:
    在线事务处理一般可分为在线交易事务处理(OLTP)和在线分析事务处理(OLAP),也有叫联机交易处理和联机分析处理。而混合型事务处理(HTAP)则融合了上述两种事务类型,即一个系统同时很好的满足OLTP和OLAP的需求。 
   早在2014年Gartner的报告就明确指出了:“混合型交易/分析事务处理(HTAP)将帮助应用提升场景识别能力,增强业务敏捷性。这将引发由内存计算技术催生的现有架构和IT科技的剧变”。
    电子商务领域就有很多混合型事务处理的例子,比如信用卡消费,既要计算当前消费,又要按T+1统计剩余额度;个性化引擎,既要应对当下行为,又要根据偏差调整推荐算法;物联网事件处理器等等。       

1

    当然作为这样一套系统,首先它需要满足一些非功能的需求,包括每秒10万次以上的并发处理能力;可以与应用同步线性扩展;零网络延时、零数据丢失。在功能性上,它需要支持纯Java技术栈的业务逻辑以及可以接受来自流处理框架([【观察】常用的流式框架(一)-- Storm与Samza](https://yq.aliyun.com/articles/750868?spm=a2c4e.11155435.0.0.409a33129XlKTs);[【观察】常用的流式框架(二)-- Spark与Flink](https://yq.aliyun.com/articles/750869?spm=a2c4e.11155435.0.0.409a33129XlKTs))的消息,并能对其中的状态信息进行快速识别。

2

    上图的模型是最早的OLTP与OLAP并存模型,没有任何的分离处理,直接面临的问题就是中间关系型数据库在承载多分析模块读取数据的同时,源应用程序的写操作会处理不过来。于是企业的数据架构又会在应用与结构化数据库之间加入一层操作性数据库(ODS)。

3

    ODS确实很好的分解了OLTP与OLAP的资源分配,但是首先会带来数据冗余,其次由于ETL转置需要时间,因此数据仓库中的数据距离实时性一定会有不小的差距,进而就导致报表数据的不及时。并且ETL任意环节的故障都会导致数据仓库的失真。
    随着内存计算技术的发展,并且借助多版本并发控制(MVCC)能力,HTAP已经可以将OLTP和OLAP事务放在一个数据库上处理了。

4

    这类数据库市面上的选择还不少,尤以VoltDB,NuoDB和MemSQL为首,程序内置MVCC功能可以对频繁更新的数据记录版本号,以建立缓存序列供OLAP差异化调取。

5

    随着微服务在企业中的普及,不同的微服务可以挂接不同的HTAP数据库以满足多并发更新与读取的需求。当然如果目标微服务没有很大的并发更新量的情况下,多个微服务共享一个HTAP,根据Schema分库分表也不失为企业混合事务处理的有效解决办法。
相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
ly~
|
1月前
|
数据库 数据库管理
数据库的事务处理机制有哪些优点?
数据库的事务处理机制具备多种优势:首先,它能确保数据一致性,通过原子性保证所有操作全成功或全失败,利用完整性约束维护数据的有效性;其次,增强了系统可靠性,提供故障恢复能力和正确处理并发操作的功能;最后,简化了应用程序开发工作,将操作封装为逻辑单元并集中处理错误,降低了开发复杂度。
ly~
34 1
|
3月前
|
数据管理 数据挖掘 OLAP
|
6月前
|
存储 运维 负载均衡
关系型数据库引入故障转移机制
【5月更文挑战第4天】关系型数据库引入故障转移机制
58 8
关系型数据库引入故障转移机制
|
存储 数据库
数据库事务与特性
数据库事务与特性
69 0
|
SQL 关系型数据库 MySQL
数据库的事务四大特性&&隔离级别总结(面试高频)
数据库的事务四大特性&&隔离级别总结(面试高频)
209 0
|
SQL Oracle 关系型数据库
事务的四大特性
事务的四大特性(原子性、一致性、隔离性、持久性)
147 1
|
存储 监控 算法
实时数据库、内存数据库、关系型数据库之间的对比
内存数据库就是将数据放在内存中直接操作的数据库,它利用内存的读写速度比磁盘快、内存是随机访问而磁盘是顺序访问这两个特点,将数据保存在内存中,在内存中模仿建立表结构和索引结构并针对内存特性进行优化,相比从磁盘上访问,内存数据库访问较快。
1443 0
|
SQL 消息中间件 供应链
分布式架构设计篇(五)-刚性事务之2PC详解
分布式场景下,多个服务同时对服务一个流程,比如电商下单场景,需要支付服务进行支付、库存服务扣减库存、订单服务进行订单生成、物流服务更新物流信息等。如果某一个服务执行失败,或者网络不通引起的请求丢失,那么整个系统可能出现数据不一致的原因。
397 0
分布式架构设计篇(五)-刚性事务之2PC详解
|
存储 监控 Oracle
数据一致性-分区可用性-性能—多副本强同步数据库系统实现之我见
本文将跳出任何一种数据库,从原理的角度上来分析下面的几个问题: 问题一:数据一致性。在不使用共享存储的情况下,传统RDBMS(例如:Oracle/MySQL/PostgreSQL等),能否做到在主库出问题时的数据零丢失。 问题二:分区可用性。有多个副本的数据库,怎么在出现各种问题时保证系统的
5095 0
|
算法
分布式系统常见的事务处理机制
为保障系统的可用性、可靠性以及性能,在分布式系统中,往往会设置数据冗余,即对数据进行复制。举例来说,当一个数据库的副本被破环以后,那么系统只需要转换到其他数据副本就能继续运行下去。
1532 0