kafka与zookeeper之间的关联
kafka与zookeeper:
一个典型的Kafka集群中包含若干Produce,若干broker(一般broker数量越多,集群吞吐率越高),若干Consumer Group,以及一个Zookeeper集群。
一文了解南京云栖阿里云重磅产品发布
关于数字化转型需要做什么事情?昨天,云栖大会·南京峰会期间,我们讲了很多案例。
近年来,在驱动中国的使命下,城市、交通、金融、工业、农业等各个领域都在不断创新。在这个过程当中,云计算大数据的产品发挥了非常重要的作用。
【译】Apache Spark 2.4 内置数据源 Apache Avro
原文链接: Apache Avro as a Built-in Data Source in Apache Spark 2.4
Apache Avro 是一种流行的数据序列化格式。它广泛使用于 Apache Spark 和 Apache Hadoop 生态中,尤其适用于基于 Kafka 的数据流场景。
车联网上云最佳实践(一)
最近两年车联网发展受到政府部门、科研院以及各大互联网巨头的广泛关注和积极推动。从应用来看,主要包括两种模式:一是前装模式(即车辆出厂前安装),是乘用车厂主导或者与有相关能力的公司合作,例如上汽和阿里巴巴的合作。
记录一次数据同步到数据仓库的架构与实践
背景
在数据仓库建模中,未经任何加工处理的原始业务层数据,我们称之为ODS(Operational Data Store)数据。在互联网企业中,常见的ODS数据有业务日志数据(Log)和业务DB数据(DB)两类。