AI 助理
备案控制台
开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 视频 > 正文

使用DDI+Confluent进行实时数据采集入湖和分析【Databricks 数据洞察公开课】

发布者：Dev-Talk 2022-06-08 10:50:04 352
Dev-Talk
+关注
视频介绍

本次课程将介绍网约车模拟数据从产生、发布到流数据服务confluent,通过Databricks Structured Streaming 进行实时数据处理，存储到LakeHouse,并使用spark和spark sql进行分析的应用实践。

讲师/嘉宾简介

李锦桂-阿里云开源大数据平台开发工程师

关键词：
云消息队列 Kafka 版集群
云消息队列 Kafka 版配置
云消息队列 Kafka 版高可用性
云消息队列 Kafka 版分区
云消息队列 Kafka 版安装部署
相关视频
大数据与机器学习

开源大数据平台 E-MapReduce
+关注

阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

热门文章

热门讨论

展开全部
展开全部
+关注
Dev-Talk
文章
问答
视频
来源圈子
更多
Apache Spark 中国技术社区
4459
邀请你加入钉钉群聊Apache Spark中国技术交流社区，点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,X7S/0/QcrLMkK7QZ5sw2oTvoYW49u0g5dvGu7PW+sm4=&_dt_no_comment=1&origin=11。</br> 微信公众号：Apache Spark技术交流社区 为 Spark 爱好者提供一个交流技术和传递资讯的平台，在这里你可以掌握大数据计算领域最前沿的资讯，可以与 Spark 技术大牛面对面交流，还有不定期社区福利领取哟～
+ 订阅

相关产品

  • 开源大数据平台 E-MapReduce
    文档详情 产品详情
    • 相关文章
    更多
    「首席架构师看事件流架构」Kafka深挖第3部分：Kafka和Spring Cloud data Flow 使用 Databricks+Confluent 进行实时数据采集入湖和分析| 学习笔记 使用Databricks+Confluent进行实时数据采集入湖和分析【Databricks 数据洞察公开课】 使用 Databricks 进行营销效果归因分析的应用实践【Databricks 数据洞察公开课】 企业版Spark Databricks + 企业版Kafka Confluent 联合高效挖掘数据价值 【kafka原理】 消费者偏移量__consumer_offsets_相关解析 Blink流式计算-Kafka接入demo 解决kafka集群由于默认的__consumer_offsets这个topic的默认的副本数为1而存在的单点故障问题 1.3 Quick Start中 Step 8: Use Kafka Streams to process data官网剖析（博主推荐） 1.3 Quick Start中 Step 7: Use Kafka Connect to import/export data官网剖析（博主推荐）