实时数据收集层
在实际业务中,大量的实时计算都是基于消息系统进行的数据收集和投递,这都离不开强大的消息中间件。业界使用最广的是Kafka,还有一些其他的比如RockettMQ等。Kafka因为高吞吐、低延迟的特性,特别适合大数据量、高QPS下的业务场景,而RocketMQ则在事务消息、一致性上有独特的优势。
实时计算层
Flink在计算层同时支持流式和批量分析应用,这就是我们所说的批流一体。Flink承担了数据的实时采集、实时计算和下游发送的角色。随着Blink的开源和一些其他实时产品的开源,支持可视化、SQL化的开发模式已经越来越普及。
数据存储层
实时数据存储层,存储层除了传统MySQL等存储引擎以外,还会根据场景数据的不同存储在Redis、HBase、OLAP中。OLAP的技术选型直接制约着数据存储层和数据服务层的能力。
数据服务层
数据服务层会提供统一的对外查询、多维度的实时汇总,加上完善的租户和权限设计,能够支持多部门、多业务的数据需求,另外,基于数据服务层还会有数据的展示、大屏、指标可视化等。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。