流式湖仓专场(三)
流式湖仓专场邀请阿里云智能、联通、同程旅行、汽车之家、OPPO、网易、滴滴、镜舟科技、广联达、平安证券、快手等企业技术专家解读基于 Flink + Paimon 构建流式数据湖相关问题,更有基于 Paimon + StarRocks、Flink + Paimon + Hologres、Paimon + Spark 的流式湖仓最佳应用实践与分析。
行业实践专场(三)
行业实践专场将由美的、芒果 TV、喜马拉雅、曹操出行、米哈游、腾讯、字节跳动、中原银行、上海汽车集团、中南电力、跨越速运、传音、传智教育等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授,帮助开发者更全面和深入地了解 Flink 技术如何在实际生产场景中落地。
【第7讲】是真的!Python可以创建Excel了,1行代码就能模拟真实数据,AI自动化办公还会远吗?
【第7讲】是真的!Python可以创建Excel了,1行代码就能模拟真实数据,AI自动化办公还会远吗?
FY24阿里云暑期夏令营“学生说”第二集
听一听参与夏令营的同学们怎么说,阿里云在这里期待迎接更多优秀的同学们!了解更多夏令营信息请点击:https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso
Streaming Lakehouse Meetup
本次 Meetup 邀请了来自阿里巴巴、字节跳动的七位技术专家,聚焦大规模 CDC 数据入湖实践、Flink 一站式湖仓一体构建、流式数据湖关键特性以及统一的 RSS 等,全方位解析 Streaming Lakehouse 最前沿的技术,最新的产业实践!Flink、Paimon、Celeborn、Flink CDC、StarRocks 多个开源项目汇聚在一起,会碰撞出怎样的火花?敬请期待! 讲师: 李劲松 阿里云开源大数据表存储团队负责人、阿里巴巴高级技术专家 徐榜江 阿里云 Flink 数据通道负责人 刘大龙 阿里云研发工程师 李国君 字节跳动基础架构工程师 周克勇 阿里云/数据湖Spark引擎负责人 曾庆栋 阿里云高级开发工程师 王洪顺 阿里云大数据开发工程师
3分钟开通阿里云检索分析服务Elasticsearch版免费试用
点此免费试用 ->保姆级教程!3分钟开通阿里云检索分析服务Elasticsearch版免费试用。阿里云检索分析服务Elasticsearch版兼容开源 ELK 功能,免运维全托管,适用于业务峰谷明显,提升企业数据检索与运维分析能力。
Beyond Stream Processing —— 2022第四届实时计算Flink挑战赛决赛答辩
2022第四届实时计算Flink挑战赛决赛答辩
六、培训课程-AIE技术分享之遥感AI模型自学习训练实践
为加强用户对AI Earth的理解,促进双方交流,提升AI Earth在地球科学领域的服务支撑能力,达摩院多位专家带来AI Earth地球科学云平台线上系列培训,干货满满,诚邀参与!
Flink Forward 行业实践“中信建设证券基于Flink的实时计算平台探索与实践”
Flink Forward 行业实践“中信建设证券基于Flink的实时计算平台探索与实践”宋宇航 中信建投证券流计算技术专家王若梦 中信建投证券实时数仓项目负责人
Flink Forward 行业实践“Flink 在中泰证券的实践与应用”
Flink Forward 行业实践“Flink 在中泰证券的实践与应用”连序全 中泰证券大数据中心实时计算架构师
Flink Forward 实时湖仓“Apache Flink x Apache Doris 构建极速易用的实时湖仓架构”
Flink Forward 实时湖仓“Apache Flink x Apache Doris 构建极速易用的实时湖仓架构”王磊 SelectDB 资深大数据研发专家
Flink Forward 平台建设“小米基于Flink的实时计算资源治理实践”
Flink Forward 平台建设“小米基于Flink的实时计算资源治理实践”张蛟 小米高级软件工程师
Flink Forward 行业案例“集度汽车Flink on native k8s 的应用与实践”
Flink Forward 行业案例“集度汽车Flink on native k8s 的应用与实践”顾云 集度汽车数据开发专家周磊 集度汽车数据部门实时方向负责人
Flink Forward 实时湖仓“SmartNews 基于 Flink 的 iceberg 实时数据湖实践”
Flink Forward 实时湖仓“SmartNews 基于 Flink 的 iceberg 实时数据湖实践”戢清雨 SmartNews 数据平台架构师
Flink Forward Asia 实时风控专场 “Flink CEP 新特性进展与在实时风控场景的落地”
Flink Forward Asia 实时风控专场 “Flink CEP 新特性进展与在实时风控场景的落地”耿飙 阿里云开发工程师胡俊涛 阿里云开发工程师
实时数仓workshop北京站"从ELK到EFK—结合Flink和Elasticsearch新特性重构全观测方案"
实时数仓workshop北京站"从ELK到EFK—结合Flink和Elasticsearch新特性重构全观测方案"朱杰Elastic资深解决方案架构师赵弘扬阿里云高级产品专家
《开源大数据热力报告 2022》解读
11 月 5 日,开放原子开源基金会、X-lab 开放实验室、阿里巴巴开源联合发布了《开源大数据热力报告 2022》。该报告收集了2015 年至 2022 年的相关公开数据进行关联分析,研究开源大数据进入“后 Hadoop 时代”的技术趋势,以及开源社区的运作模式对技术走向的助推作用。 本周四,我们将以直播的方式,就《开源大数据热力报告 2022》的结论进行延申,讨论应如何提高开源开发者活跃度,提升开源项目热力。讲师/嘉宾简介赵生宇(X-lab开放实验室核心成员、开源社成员、同济大学计算机在读博士生、OpenDigger开源项目发起人)燕青(Apache Kyuubi PPMC、Apache Spark Committer、Apache Submarine Committer、网易技术专家)、赵恒(StarRocks PMC、StarRocks产品负责人)徐榜江(雪尽)(Flink CDC Maintainer、Apache Flink Committer、阿里云技术专家)、徐昱(StarRocks Active Contributor,Apache Hudi Contributor,华米科技高级大数据工程师 )
Lakehouse Meetup “整合Pulsar和Lakehouse数据:使用Connector将Pulsar Topic中的数据Sink到Lakehouse storage”
Lakehouse Meetup “整合Pulsar和Lakehouse数据:使用Connector将Pulsar Topic中的数据Sink到Lakehouse storage”张勇 StreamNative 高级工程师Apache Pulsar Committer
Flink Forward Asia 2022 数据集成 11.27 上午
云原生为数据集成领域注入了全新生命力,本专场邀请小红书、小米、科杰科技、易车、京东、顺丰、XTransfer、阿里等技术专家分享基于 Flink 的数据集成系统探索与实践。讲师/嘉宾简介王林红|易车数据平台负责人韩飞|京东资深技术专家,Apache Flink Contributor唐尚文|顺丰科技 大数据平台研发高级工程师孙家宝|XTransfer 基础架构团队 技术专家
Flink Forward Asia 2022 流批一体 11.27上午
流批一体专场由来自快手、京东、数禾、Shopee、蚂蚁集团等企业的技术专家为你呈现流批一体的大规模应用实践案例,详细拆解落地难点和应对方案。另有来自阿里巴巴的技术专家手把手教你如何基于 Hive SQL on Flink 构建流批一体引擎。讲师/嘉宾简介祝海峰|阿里巴巴高级技术专家孙金城|字节跳动火山引擎LAS计算方向负责人,Apache Flink PMC,Apache IoTDB PMC,Apache Shenyu PMC,ASF Member罗宇侠|阿里云 开发工程师方盛凯|阿里云 开发工程师李明昆|Shopee 高级研发工程师,Flink Remote Shuffle Contributor
Flink Forward Asia 2022 生产实践 11.26
快手、美团、字节跳动、小米、运满满、蔚来汽车、中泰证券、中原银行、中信建投、中南电力设计院等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介贺小令|阿里云高级技术专家,Apache Flink Committer刘建刚|快手技术专家许雷力|阿里云计算平台 实时计算&托管生态 SRE 团队 阿里云技术专家张韦杰|阿里云开发工程师冯斐|美团数据平台计算引擎工程师李建国|字节跳动 实时数据研发工程师茅旭辉|字节跳动 实时数据研发工程师
Flink Forward Asia 2022 行业案例 11.27 下午
快手、美团、字节跳动、小米、运满满、蔚来汽车、中泰证券、中原银行、中信建投、中南电力设计院等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介张成玉|聚水潭大数据开发专家,数据团队-实时研发组负责人,数据中台架构师应圣楚|聚水潭高级 ETL 工程师,数据团队-实时研发组成员,数据中台-数据门户、直播大屏公共层研发负责人刘赟|中国汽车工程研究院股份有限公司 开发工程师姚远|中国电力工程顾问集团中南电力设计院有限公司 工程师、注册测绘师
Flink Forward Asia 2022 核心技术 11.27 下午
由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、华为、Shopee、bilibili、美团等公司的一线技术专家解析 Flink 技术动向与应用实践,回归技术本质,打造全方位技术盛宴。讲师/嘉宾简介俞航翔|Apache Flink Contributor范瑞|Tech Lead of Shopee Flink Runtime Team,Apache StreamPark Committer & Flink/Hadoop/HBase/RocksDB Contributor张杨|bilibili 资深开发工程师李明|字节跳动基础架构工程师王义|字节跳动基础架构工程师王非凡|美团数据平台计算引擎工程师,Apache Flink Contributor
Flink Forward Asia 2022 AI 特征工程 11.27 下午
AI 特征工程专场将由来自腾讯、字节跳动、阿里巴巴的技术专家带来基于 Flink 的实时特征工程平台建设思路与落地实践。讲师/嘉宾简介林东|Apache Kafka Committer 和 PMC 成员李天旺|腾讯专家级工程师张颖莹|阿里云计算平台算法专家廖嘉逸|字节跳动推荐特征生产方向负责人刘首维|字节跳动推荐架构工程师
Apache Flink Meetup 北京站《基于 Flink CDC + Kafka 加速业务实时化》
Apache Flink Meetup 北京站主题:基于 Flink CDC + Kafka 加速业务实时化讲师:任庆盛 Apache Flink Committer
实时数仓Workshop(北京站)
9月23日,实时数仓Workshop · 北京站将聚焦Flink&Hologres实时数仓在数据链路中扮演的角色与在智能商业中的重要价值,由业内各界的实时数仓实践者一同探讨实时计算未来趋势、开源生态发展、实时数仓场景在各行业中的实践与应用及平台智能化的探索与思考。讲师/嘉宾简介1、刘一鸣,阿里云高级产品专家2、汪宇,阿里巴巴淘菜菜事业部数据技术专家3、康凯,阿里巴巴技术专家4、乐洋 阿里云高级产品专家5、朱杰 Elastic 资深解决方案架构师 赵弘扬 阿里云高级产品专家
ApacheCon Asia 2022 阿帕奇亚洲大会流处理论坛 7/30
作为当今大数据领域的趋势,流式数据处理的潜在价值正在被不断发掘。如今,很多企业都渴望更及时地洞察自己的数据,曾经的“批处理”思维也正在迅速被流式处理所取代。越来越多的公司,无论大小,都在重新思考技术架构时把实时性作为第一考量,并开始用强大的开源引擎如 Apache Flink, Apache Spark, Apache Kafka, Apache Pulsar, Apache Storm 等构建自己的实时计算平台。 在本次 ApacheCon 上,Apache 软件基金会成员、阿里云 EMR 平台技术及 Flink 存储引擎团队负责人李钰将携手专家团带来“流处理”分论坛分享。在该分论坛中,您将了解到一线大厂把这些 Apache 项目应用到其生产环境中的实际经验,以及这些 Apache 项目生态的最新发展和流计算技术未来的发展方向。 讲师/嘉宾简介 徐榜江(雪尽)- 基于 Flink CDC 和 Hudi 高效地构建实时数据湖 盛宇帆 - 使用 Apache Pulsar 开发基于 Apache Flink 的流批一体化应用 毕岩(寻径) - 基于数据湖格式构建流式增量数仓——CDC 张雨霏 - 介绍用于 Pulsar 和 PulsarCatalog 的 Flink SQL 连接器 赵波 - 让 Flink 在 K8s 上运行的更好 付睿 - 以云原生的方式使用 Apache Pulsar 函数
阿里云云原生一体化数仓 — 数据安全能力解读
云原生一体化数仓数据安全能力基于MaxCompute与DataWorks的组合能力,包括数据分级机制、敏感数据识别算法、用户权限级别和数据安全级别自动映射、数据脱敏、审批和权限回收流程、审计机制、开发生产环境隔离等安全能力,实现了端到端的安全管控能力。讲师/嘉宾简介孔亮 阿里云智能 产品专家
阿里云云原生一体化数仓 — 数据建模新能力解读
阿里云DataWorks自研建模产品-智能数据建模产品核心能力及收费模式简介。讲师/嘉宾简介闫建丽 阿里云智能 产品专家
深度解析数据湖存储方案Lakehouse架构【Databricks 数据洞察公开课】
从数据仓库、数据湖的优劣势,湖仓一体架构的应用和优势等多方面深度解析Lakehouse架构。讲师/嘉宾简介Databricks软件工程师 张泊产品技术咨询https://survey.aliyun.com/apps/zhiliao/VArMPrZOR加入技术交流群
年度回顾-阿里云Elasticsearch在泛日志场景的核心能力建设
随着国内传统企业的数字化转型,非结构化数据的规模和占比增长迅速,其中日志数据获取和加工能力也越来越受到关注。本次由阿里云Elasticsearch团队负责人,给大家聊一聊阿里云Elasticsearch围绕泛日志场景在产品和内核层面做了哪些努力,又为开发者社区提供了哪些回馈。讲师/嘉宾简介邓万禧 阿里巴巴资深技术专家阿里巴巴智能引擎事业部云服务,搜索与分析团队负责人
Flink Forward Asia 2021 行业实践 2
行业实践专场由字节跳动、网易、蔚来、中原银行、建信金融科技、中信建投等多行业实时计算领域专家详细解读 Flink 在业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介1.《Flink 在能源建设的实践》姚远 - 中南电力设计院工程师、注册测绘师2.《Apache Flink 在蔚来汽车的应用》吴江 - 蔚来汽车大数据部门数据开发,OLAP 平台 tech lead3.《Flink 在字节跳动数据流的实践》刘石伟 - 字节跳动数据平台数据流技术负责人4.《网易游戏基于 Flink 的支付环境全关联分析实践》林佳 - 网易互娱技术中心计费实时平台与 SDK 技术负责人,Apache Flink Contributor
Flink Forward Asia 2021 核心技术 3
核心技术专场,由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、快手、美团等一线技术专家解析 Flink 技术动向与应用实践。讲师/嘉宾简介1.《Flink Connector 社区新动向与 Hybrid Source 原理实践》任庆盛 - 阿里巴巴开发工程师,Apache Flink Contributor蒋晓峰 - 阿里巴巴技术专家,Apache RocketMQ & Apache ShardingSphere & SOFAJRaft Committer,Apache Flink Contributor2.《基于 FFI 的 PyFlink 下一代 Python 运行时介绍》黄兴勃 - 阿里巴巴高级开发工程师,Apache Flink Committer,PyFlink 核心贡献者3.《StateBackend Performance Improvements with Cache》李明 - 字节跳动基础架构工程师,Apache Flink Contributor4.《为实时机器学习设计的算法接口与迭代引擎》林东 - 阿里巴巴高级技术专家,Apache Kafka PMC Member高赟 - 阿里巴巴技术专家,Apache Flink Committer
Flink Forward Asia 2021 核心技术 1
核心技术专场,由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、快手、美团等一线技术专家解析 Flink 技术动向与应用实践。讲师/嘉宾简介1.《Flink SQL 在快手的落地和扩展》张静 - 快手实时计算团队技术专家,Apache Flink Committer张芒 - 快手实时计算团队技术专家2.《Flink State-Backend Improvements and Evolution in 2021》李钰 - 阿里巴巴资深技术专家,ASF Member,Apache Flink & HBase PMC唐云 - 阿里巴巴技术专家,Apache Flink committer3.《Powering HTAP at ByteDance with Apache Flink》刘洋 - 字节跳动基础架构工程师,Apache Flink Contributor邹丹 - 字节跳动基础架构工程师,Apache Flink Contributor4.《深入解析 Flink 细粒度资源管理》郭旸泽 - 阿里巴巴高级开发工程师,Apache Flink Committer5.《Flink Join 算子优化》孙梦瑶 - 美团资深开发工程师
SaaS模式云数据仓库 MaxCompute 应用场景实践——基于 MaxCompute SQL 的半结构化数据处理实践
介绍如何基于MaxCompute SQL 新功能,处理半结构化数据的场景,需求。讲师简介孔亮 阿里云智能 产品专家
SaaS模式云数据仓库 MaxCompute 应用场景实践——基于MaxCompute分布式Python能力的大规模数据科学分析
如何利用云上分布式 Python 加速数据科学。如果你熟悉 numpy、pandas 或者 sklearn 这样的数据科学技术栈,同时又受限于平台的计算性能无法处理,本次直播介绍的 MaxCompute 可以让您利用并行和分布式技术来加速数据科学。也就是说只要会用 numpy、pandas 和 scikit-learn 之一,就会用 MaxCompute 分布式 Python 的能力。讲师简介孟硕 阿里云智能 产品专家
如何快速搭建云原生企业级数据湖架构及实践分享
众所周知,数据湖技术在大数据领域炙手可热,随着在云上的广泛部署和应用,其业务价值逐渐获得业界共识。如何快搭建数据湖架构被越来越多的企业探讨。本次演讲主要分享快速搭建云原生企业级数据湖架构及实践分享。讲师简介王震 -- 阿里云计算平台事业部 开源大数据平台 技术专家
外部工具连接SaaS模式云数仓MaxCompute — 商业BI分析工具篇
本次直播将介绍SaaS模式云数据仓库MaxCompute的产品整体生态,包括外部BI分析工具、数据库管理工具、ETL工具以及MaxCompute自身开放生态、阿里云产品解决方案生态和数据应用生态。重点会介绍MaxComput支持的QuickBI、Tableau、FineBI、FineReport、Yonghong Desktop、商业BI分析工具,同时进行部分连接示例演示。讲师简介木弈 阿里云智能 产品经理
开源大数据社区 & 阿里云 E-MapReduce 系列直播 第11期
Spark 大家应该都很熟了,我们这次的 Spark 最佳实践课程不会生搬硬套去讲一些你能在网上找得到的东西。而是讲师基于自己多年的经验总结出来的一些关于Spark或者是大数据方面一些原则性的东西,一些非常落地的最佳实践,主要的目标是让你为摆脱Spark小白用户的称号。讲师简介简锋 阿里云 EMR 数据开发平台 负责人
Hologres系列课程(三)权限模型详解
本次课程主要介绍Hologres的权限体系,以及每个权限模型适用场景和使用最佳实践,助力企业快速了解权限和授权操作。讲师简介胡求,阿里巴巴开发工程师,长期从事Holohres引擎开发工作
Hologres系列课程(十一)DataWorks数据集成实时写入Hologres最佳实践
本次主要介绍如何通过DataWorks数据集成实现多种异构数据源实时写入至Hologres,并以MySQL为例,端到端详解写入最佳实践讲师简介胡一博(上唐),阿里巴巴技术专家, 长期从事Hologres数据集成生态开发工作。
开源大数据社区 & 阿里云 E-MapReduce 系列直播 第9期
EMR on ACK是企业级半托管的开源大数据平台,为阿里云E-MapReduce(EMR)提供了一个部署选项,允许您在阿里云容器服务Kubernetes版 (ACK) 上运行开源大数据框架。 目前支持Spark引擎的部署,结合自研的Remote shuffle service(RSS)服务组件,提供用户高稳定、高性价比、灵活的弹性计算服务。RSS解决了计算存储分离和混合架构下的shuffle稳定性和性能问题。本次直播将重点展开RSS的使用和性能展示。讲师介绍吴雪扬(枢木),阿里云高级开发工程师
大数据与机器学习
大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。