2024FFA分论坛-流式湖仓2
FFA2024流式湖仓专场由Apache Flink核心贡献者与来自淘天集团、抖音集团、vivo、小米、中原银行、阿里云智能、蚂蚁集团、贝壳找房、货拉拉等公司的一线技术专家解析流批一体、存算分离、湖仓融合的实时湖仓架构,探讨以 Apache Paimon 为流批一体湖存储的湖仓架构建设实践,如何帮助业务获得更实时的数据来驱动业务决策,并实现数据管理的降本增效。
2024FFA分论坛-Data+Ai
FFA2024Data+AI专场由Apache Flink核心贡献者与来自哔哩哔哩、抖音集团、Elastic、京东、硕橙科技等公司的一线技术专家带来,聚焦实时大数据处理与人工智能的前沿融合,共同探讨如何利用Flink助力AI大模型技术的实时化升级,议题涵盖但不限于特征工程、训练、推理、大模型架构优化、以及实时AI大模型在各行业领域的创新应用。
2024FFA-分论坛-核心技术专场1
FFA2024核心技术专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、Shopee、蚂蚁金服等公司的一线技术专家解析Flink技术动向与应用实践,重点探讨Flink的核心技术在实际生产环境中面临的挑战,以及如何通过最佳实践来进行扩展和改进。
大数据时代,如何保证消息的顺序性?
大家好,我是你们的技术小伙伴小米!今天我们来聊聊如何在数据处理过程中保证顺序消费的问题。这个话题非常重要,尤其是在大数据处理和消息队列系统中,顺序消费是实现数据一致性和正确性的关键步骤。那么,如何才能有效地保证顺序消费呢?接下来,我将详细分享几种常见的方案和它们的优缺点。
EMR StarRocks VS 开源版本功能差异介绍
EMR StarRocks 线上公开课 第2期直播亮点Serverless StarRocks 客户案例分享Serverless StarRocks VS 开源版本能力介绍讲师简介弘锐 - 阿里云 E-MapReduce 产品专家
Havenask入门课程第3节:使用hape部署分布式版Havenask
Havenask是阿里巴巴自主研发的大规模分布式搜索引擎,主要专注于智能搜索和海量数据实时检索,其核心能力广泛应用于阿里巴巴内部的众多业务,如淘宝、天猫商品搜索,盒马搜索,菜鸟物流订单实时检索等。并于2022年11月对外正式开源,具有灵活的定制和开发能力,支持算法快速迭代,帮助客户和开发者量身定做适合自身业务的智能搜索服务,助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们,为大家全面讲解Havenask的相关知识,通过课程可以了解到产品能力、架构原理、安装部署等内容,同时还有详细的操作演示,帮助大家更好了解和使用产品。 课程介绍: 此视频Havenask入门课程第3节《使用hape部署分布式版Havenask》,共讲解3部分内容。 -部署分布式版Havenask -如何写入数据、检索 -问题排查 我们期望通过课程可以帮助您更好的使用Havenask,欢迎广大开发者加入项目开发,共建高质量的搜索引擎,共同推进国产化开源搜索引擎技术快速发展,普惠更多的开发者和企业。 此外,对于有使用需求的企业级开发者,我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch,欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网:https://www.aliyun.com/product/opensearch 官网地址:https://havenask.net/ Github:https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群:
Havenask入门课程第7节:集群扩分片
Havenask是阿里巴巴自主研发的大规模分布式搜索引擎,主要专注于智能搜索和海量数据实时检索,其核心能力广泛应用于阿里巴巴内部的众多业务,如淘宝、天猫商品搜索,盒马搜索,菜鸟物流订单实时检索等。并于2022年11月对外正式开源,具有灵活的定制和开发能力,支持算法快速迭代,帮助客户和开发者量身定做适合自身业务的智能搜索服务,助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们,为大家全面讲解Havenask的相关知识,通过课程可以了解到产品能力、架构原理、安装部署等内容,同时还有详细的操作演示,帮助大家更好了解和使用产品。 课程介绍:此视频为Havenask入门课程第7节《集群扩分片》,将对Havenask的扩分片进行介绍。 我们期望通过课程可以帮助您更好的使用Havenask,欢迎广大开发者加入项目开发,共建高质量的搜索引擎,共同推进国产化开源搜索引擎技术快速发展,普惠更多的开发者和企业。 此外,对于有使用需求的企业级开发者,我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch,欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网:https://www.aliyun.com/product/opensearch 官网地址:https://havenask.net/ Github:https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群:
流式湖仓专场(二)
流式湖仓专场邀请阿里云智能、联通、同程旅行、汽车之家、OPPO、网易、滴滴、镜舟科技、广联达、平安证券、快手等企业技术专家解读基于 Flink + Paimon 构建流式数据湖相关问题,更有基于 Paimon + StarRocks、Flink + Paimon + Hologres、Paimon + Spark 的流式湖仓最佳应用实践与分析。
核心技术专场(二)
核心技术专场由 Apache Flink 核心贡献者与阿里云智能、字节跳动、网易、美团、蚂蚁金服等公司的一线技术专家解析 Flink 2.0 技术动向与应用实践。
核心技术专场(一)
核心技术专场由 Apache Flink 核心贡献者与阿里云智能、字节跳动、网易、美团、蚂蚁金服等公司的一线技术专家解析 Flink 2.0 技术动向与应用实践。
Apache Kyuubi & Celeborn,助力 Spark 拥抱云原生
10月14日14:00-17:30,Apache Kyuubi & Celeborn 社区将在杭州举办「Apache Kyuubi & Celeborn (Incubating) 助力 Spark 拥抱云原生」Meetup,本次 Meetup 邀请到阿里云、网易数帆、Cisco、丁香园、Shopee 等技术大咖深入探讨交流基于 Apache Kyuubi & Celeborn 的技术实践,助力 Spark 拥抱云原生!讲师/嘉宾简介周克勇(一锤):阿里云 EMR Spark 引擎负责人,Apache Celeborn (Incubating) 的发起人潘成:网易数帆大数据技术专家,Apache Kyuubi PMC Member,Apache Celeborn (Incubating) PPMC Member朱夷(AngersZhuuuu):Shopee 技术专家, Spark PIC。 Apache Celeborn(Incubating) PPMC/Apache Spark active Contributor/ Apache HDFS/YARN contributorHe Zhao:Data Engineer at CiscoPengqi Li:Data Engineer at Cisco陈福:Apache Kyuubi PMC Member / Apache Celeborn (Incubating) Committer / 丁香园大数据基础平台负责人
2023阿里云ODPS新品发布第2期
阿里云ODPS新品发布会将介绍阿里云自研大数据产品MaxCompute、Hologres、DataWorks产品新能力,持续演进满足多元化数据计算需求。本期将重点介绍ꔷ Hologres推出计算组实例ꔷ Hologres支持JSON数据 ꔷ Hologres向量计算+大模型能力ꔷ Hologres数据同步新能力ꔷ Hologres数据分层存储讲师/嘉宾简介丁烨:实时数仓Hologres 产品PD骆撷冬:实时数仓Hologres 产品PD赵红梅:实时数仓Hologres 产品PD武润雪;实时数仓Hologres 产品PD
FY24阿里云暑期夏令营总回顾(上)
学生们在为期5天的夏令营中,通过探索阿里云文化、实践云上场景,了解前沿科技、感受科技魅力、探究数字经济发展趋势、快速提升创新实践能力。了解更多夏令营信息请点击:https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso
FY23阿里云暑期夏令营总回顾(上)
学生们在为期5天的夏令营中,通过探索阿里云文化、实践云上场景,了解前沿科技、感受科技魅力、探究数字经济发展趋势、快速提升创新实践能力。了解更多夏令营信息请点击:https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso
FY23阿里云暑期夏令营精彩瞬间(上)
来自全国不同高校的学生们相聚在阿里云园区,一声同学,一份关切,情意绵长,美好永在!了解更多夏令营信息请点击:https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso
Compliance As Code理念与龙蜥社区安全加固最佳实践介绍
6 月 11 日 ~ 12 日,龙蜥社区联合 Linux 中国,在北京召开的开放原子全球开放峰会现场组织 LUG 线下沙龙活动,与大家一同聊聊开源、聊聊 Linux 、聊聊社区当中的那些最新的技术。
基于 Kibana Discover 筛选数据,自由搜索航班信息
点此免费试用 ->本实验基于Kibana Discover 功能来搜索航班信息,例如航班号、航班状态、目的地天气等,并保存搜索和导出搜索结果为CSV报告。通过本实验,您将掌握Kibana Discover的使用方法,帮助您更加快速地筛选和搜索数据,从而提高工作效率。讲师简介刘晓国 - Elastic 首席布道师
Apache Paimon Meetup online:新一代流式数据湖平台开发动态及生产实践
Apache Paimon Meetup(第一期) 邀请到三位各大行业专家给大家带来主题分享。本次分享会介绍:Paimon 0.4 已经发布!本次 Meetup 会介绍 Paimon 0.4 的核心能力,用户场景,欢迎大家试用和反馈!字节在 Paimon 上提供了一个完整的 Streaming Warehouse 一致性视图,本次 Meetup 将会分享字节相关的实践和经验。来自同程的老师大规模落地了 Paimon,他将会介绍落地 Paimon 的生产实践。讲师/嘉宾简介阿里巴巴高级技术专家,Apache Flink PMC 李劲松(花名:之信)字节跳动基础架构工程师李明同程旅行大数据计算组负责人吴祥平
Flink Forward 平台建设 “Apache StreamPark 让Flink开发管理更简单”
Flink Forward 平台建设 “Apache StreamPark 让Flink开发管理更简单”王华杰Apache StreamPark PPMC 社区发起人
Flink Forward 平台建设 “Flink SQL 在美团实时数仓生产中的增强与实践”
Flink Forward 平台建设 “Flink SQL 在美团实时数仓生产中的增强与实践”张彬美团数据系统研发工程师董剑辉美团数据系统研发工程师
Flink Forward AI特征工程 “WX安全基于Flink实时特征开发平台实践”
Flink Forward AI特征工程 “微信安全基于Flink实时特征开发平台实践”李天旺腾讯专家级工程师
Flink Forward AI特征工程 “FeatHub:流批一体的实时特征工程平台”
Flink Forward AI特征工程 “FeatHub:流批一体的实时特征工程平台”林东Apache Kafka committer和PMC成员
Flink Forward 数据集成“顺丰基于 Flink CDC + Hudi 推进实时业务落地”
Flink Forward 数据集成“顺丰基于 Flink CDC + Hudi 推进实时业务落地”唐尚文 顺丰科技大数据平台研发工程师
Flink Forward 实时湖仓“OceanBase+Flink:构建高效的实时计算解决方案”
Flink Forward 实时湖仓“OceanBase+Flink:构建高效的实时计算解决方案”周跃跃 OceanBase架构师
Flink Forward 实时湖仓“美团数仓增量建设新进展”
Flink Forward 实时湖仓“美团数仓增量建设新进展”汤楚熙 美团数据系统研发工程师
Flink Forward 平台建设“阿里实时计算Flink自动调优实践”
Flink Forward 平台建设“阿里实时计算Flink自动调优实践”钟旭阳 阿里实时计算Flink自动调休实践
Flink Forward 平台建设“阿里实时计算平台建设实践”
Flink Forward 平台建设“阿里实时计算平台建设实践”周凯波 阿里云高级技术专家
Flink Forward 核心技术“Flink Connector 社区新动向与开发指南”
Flink Forward 核心技术“Flink Connector 社区新动向与开发指南”罗根 阿里云技术专家任庆盛 阿里云开发工程师
Flink Forward 核心技术“Flink OLAP 在在字节跳动的查询优化和落地实践”
Flink Forward 核心技术“Fliink OLAP 在在字节跳动的查询优化和落地实践”何润康 字节跳动基础架构工程师
Flink Forward 实时湖仓“B站实时数据湖实践”
Flink Forward 实时湖仓“B站实时数据湖实践”周晖栋 bilibili大数据实时团队资深开发工程师
Flink Forward 实时湖仓“flink x Hologres 构建企业级Steaming Warehouse”
Flink Forward 实时湖仓“flink x Hologres 构建企业级Steaming Warehouse”姜伟华(果贝) 阿里云Hologres负责人
Flink Forward Asia 实时风控专场 “Airwallex 基于Flink 打造实时风控系统”
Flink Forward Asia 实时风控专场 “Airwallex 基于Flink 打造实时风控系统”董大凡 Airwallex 风控团队研发经理
Flink Forward Asia 生产实践专场 “美团Flink资源调度优化实践”
Flink Forward Asia 生产实践专场 “美团Flink资源调度优化实践”冯斐 美团数据平台计算引擎工程师
实时数仓workshop北京站"阿里云实时计算Flink版产品介绍与演示"
实时数仓workshop北京站"阿里云实时计算Flink版产品介绍与演示"乐泽阿里云高级产品专家
实时数仓workshop北京站"预计算技术+Hologres在阿里采集流量分析产品中的实践"
实时数仓workshop北京站"预计算技术+Hologres在阿里采集流量分析产品中的实践"康凯阿里巴巴技术专家
「开源人说」第四期——大数据&AI专场
11月5日, 阿里云开发者社区、阿里灵杰、InfoQ联合举办的「开源人说」“大数据&AI”专场在云栖大会D2馆开发者舞台火热进行。阿里巴巴开源会员会大数据AI领域主席王峰和阿里巴巴资深技术专家施兴现场分享热门开源项目背后的故事。开源中国创始人&CTO红薯,白鲸开源联合创始人代立冬,浙大博导、AI专家赵俊博,InfoQ总编辑王一鹏、Apache软件基金会成员李钰等嘉宾圆桌共话,对开源热点及痛点问题展开激烈讨论。讲师/嘉宾简介嘉宾/讲师王峰阿里巴巴开源委员会大数据AI领域主席、阿里云开源大数据平台负责人、Flink中文社区发起人红薯开源中国社区创始人兼CTO代立冬白鲸开源联合创始人、Apache DolphinScheduler PMC Chair、Apache SeaTunnel PPMC王一鹏InfoQ总编辑赵俊博浙江大学博导、AI专家李钰ASF Member、Apache Flink&HBase PMC Member、阿里巴巴资深技术专家施兴阿里巴巴资深技术专家、阿里云AI开源项目EasyRec负责人
Flink Forward Asia 2022 实时湖仓 11.27 上午
实时湖仓专场邀请快手、bilibili、SmartNews、美团、SelectDB、OceanBase、StarRocks 等企业技术专家分享基于 Flink 的实时湖仓建设实践与思考。讲师/嘉宾简介李劲松|阿里巴巴高级技术专家,Apache Flink PMC王磊|SelectDB 资深大数据研发专家、Apache Doris C汤楚熙|美团数据系统研发工程师周跃跃|OceanBase 架构师谢寅|StarRocks 社区技术布道师
大数据与机器学习
大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。