使用 Kafka 和 Flink 构建实时数据处理系统
引言
在很多领域，如股市走向分析, 气象数据测控，网站用户行为分析等，由于数据产生快，实时性强，数据量大，所以很难统一采集并入库存储后再做处理，这便导致传统的数据处理架构不能满足需要。流计算的出现，就是为了更好地解决这类数据在处理过程中遇到的问题。
使用E-MapReduce服务将Kafka数据导入OSS
kafka是一个开源社区常用的消息队列，虽然kafka官方（Confluent公司）提供插件从Kafka直接导入数据到HDFS的connector，但对阿里云对文件存储系统OSS却没有官方的支持。本文会举一个简单的例子，实现kafka的数据写入阿里云OSS。因为阿里云E-MapReduce服...
消息队列服务Kafka揭秘：痛点、优势以及适用场景
消息队列Kafka是一个分布式的、高吞吐量、高可扩展性消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的产品之一，阿里云提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。本文就将带你走进消息队列Kafka。
使用EMR-Kafka Connect进行数据迁移
流式处理中经常会遇到Kafka与其他系统进行数据同步或者Kafka集群间数据迁移的情景。使用EMR Kafka Connect可以方便快速的实现数据同步或者数据迁移。本文介绍使用EMR Kafka Connect的REST API接口在Kafka集群间进行数据迁移。
Apache Doris接入Kafka实时流数据
一.简述
Apache Doris是由百度的Palo项目开源而来，整体架构分为两层:多个 FE 组成第一层，提供 FE 的横向扩展和高可用;多个 BE 组成第二层，负责数据存储于管理。
FE 节点分为 follower 和 observer 两类。
后端必备——数据通信知识(RPC、消息队列)一站式总结
RPC（Remote Procedure Call）—远程过程调用 ，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。