一、Spark Streaming 消费 Kafka 的两种方式比较
二、如何保证 Spark Streaming 的精准一次性消费？
三、如何提高 Spark Streaming 消费 Kafka 的并行度？
四、项目中 Spark Streaming 消费 Kakfa 的 offset 保存在哪里？为什么不采用 checkpoint 保存 offset，有什么缺点？
SparkStreaming 整合 Kafka
2023-07-29
92
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
SparkStreaming 整合 Kafka
目录
相关文章
|
消息中间件
数据可视化
关系型数据库
（3）sparkstreaming从kafka接入实时数据流最终实现数据可视化展示
1）我们通过kafka与各个业务系统的数据对接，将各系统中的数据实时接到kafka；
2）通过sparkstreaming接入kafka数据流，定义时间窗口和计算窗口大小，业务计算逻辑处理；
3）将结果数据写入到mysql；
4）通过可视化平台接入mysql数据库，这里使用的是NBI大数据可视化构建平台；
5）在平台上通过拖拽式构建各种数据应用，数据展示；
505
0
0
|
9月前
|
消息中间件
分布式计算
Kafka
SparkStreaming（SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭）
SparkStreaming（SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭）（一）
120
5
5
|
消息中间件
存储
分布式计算
Spark学习---6、SparkStreaming（SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭）（二）
Spark学习---6、SparkStreaming（SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭）（二）
230
1
1
|
消息中间件
分布式计算
Kafka
Spark学习---6、SparkStreaming（SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭）（一）
Spark学习---6、SparkStreaming（SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭）（一）
255
0
0
|
消息中间件
SQL
分布式计算
|
消息中间件
数据采集
分布式计算
|
消息中间件
存储
分布式计算
|
消息中间件
Kafka
Linux
Spark-stream基础---sparkStreaming和Kafka整合wordCount单词计数
sprak-stream与kafak整合wordCount
在IDEA上接收kafka传来的数据，并进行单词统计
194
0
0
|
消息中间件
分布式计算
Kafka
|
4天前
|
消息中间件
存储
缓存
kafka 的数据是放在磁盘上还是内存上，为什么速度会快？
Kafka的数据存储机制通过将数据同时写入磁盘和内存，确保高吞吐量与持久性。其日志文件按主题和分区组织，使用预写日志（WAL）保证数据持久性，并借助操作系统的页缓存加速读取。Kafka采用顺序I/O、零拷贝技术和批量处理优化性能，支持分区分段以实现并行处理。示例代码展示了如何使用KafkaProducer发送消息。
20
4
4
热门文章
最新文章
1
一文带你秒懂 Kafka工作原理！
2
【Azure Event Hub】Kafka消息发送失败(Timeout Exception)
3
招行面试：RocketMQ、Kafka、RabbitMQ，如何选型？
4
云消息队列 Kafka 版 V3 系列荣获信通院“云原生技术创新标杆案例”
5
kafka 的数据是放在磁盘上还是内存上，为什么速度会快？
6
解决kafka集群由于默认的__consumer_offsets这个topic的默认的副本数为1而存在的单点故障问题
7
SQLServer CDC数据通过Kafka connect实时同步至分析型数据库 AnalyticDB For PostgreSQL及OSS
8
springboot配置kafka生产者和消费者详解
9
SpringBoot+kafka+ELK分布式日志收集
10
一文看懂 kafka 机制
1
Kafka 线程模型痛点攻克： 提升分区写入 2 倍性能
170
2
spring kafka的问题集锦
323
3
【消息中心】kafka消费失败重试10次的问题
984
4
Kafka Exactly Once 语义实现原理：幂等性与事务消息
216
5
Kafka 迁移工具 MirrorMaker2 原理起底
332
6
一文搞懂 Kafka consumer 与 broker 交互机制与原理
711
7
Kafka消息队列原理及应用详解
301
8
扒开kafka内部组件，咱瞅一瞅都有啥？
91
9
DataWorks操作报错合集之通过dataworks把表数据发送到kafka，表字段全是string类型如何解决
115
10
人工智能平台PAI 操作报错合集之pyalink 1.6.1StreamOperator.fromDataframe(out_df, out_schema_str)之后直接连kafka sink会报下面的错误如何解决
266