Apache Paimon Meetup online:新一代流式数据湖平台开发动态及生产实践
Apache Paimon Meetup(第一期) 邀请到三位各大行业专家给大家带来主题分享。本次分享会介绍:Paimon 0.4 已经发布!本次 Meetup 会介绍 Paimon 0.4 的核心能力,用户场景,欢迎大家试用和反馈!字节在 Paimon 上提供了一个完整的 Streaming Warehouse 一致性视图,本次 Meetup 将会分享字节相关的实践和经验。来自同程的老师大规模落地了 Paimon,他将会介绍落地 Paimon 的生产实践。讲师/嘉宾简介阿里巴巴高级技术专家,Apache Flink PMC 李劲松(花名:之信)字节跳动基础架构工程师李明同程旅行大数据计算组负责人吴祥平
Flink Forward AI特征工程 “FeatHub:流批一体的实时特征工程平台”
Flink Forward AI特征工程 “FeatHub:流批一体的实时特征工程平台”林东Apache Kafka committer和PMC成员
洞悉 Spark 任务调度新能力|Apache Spark + DolphinScheduler Meetup
洞悉 Spark 任务调度新能力|Apache Spark + DolphinScheduler Meetup特邀 - 阿里云 EMR 数据开发平台团队负责人孙一凡、BIGO 大数据研发工程师许名勇、阿里云 EMR Spark 引擎负责人周克勇 ,通过他们的分享让用户能更快更好更便捷的使用 Apahce Spark + Apahce DolphinScheduler 。讲师/嘉宾简介孙一凡(Evans 忆梵) 阿里云 EMR 数据开发平台团队负责人周克勇(一锤) 阿里云 EMR Spark 引擎负责人许名勇 BIGO 大数据研发工程师
Delta Lake的演进历程和现状优势【Databricks 数据洞察公开课】
Delta Lake作为一个开源项目的演进路径和现状优势,以及怎样帮助在现有存储系统上构建Lakehouse架构。产品技术咨询https://survey.aliyun.com/apps/zhiliao/VArMPrZOR加入技术交流群下期预告《深度解析数据湖存储方案Lakehouse架构》讲师/嘉宾简介筱龙阿里云开源大数据平台技术专家
SaaS模式云数据仓库MaxCompute应用场景实践——基于MaxCompute+开放搜索的电商、零售行业搜索开发实践
搜索是电商行业的主要流量入口之一,如何提升搜索性能与效果,提升搜索引导GMV一直是电商、零售行业需要解决的难题。本次直播将介绍MaxCompute+开放搜索的开发实践,搭建一站式、高性能、效果更优的电商、零售行业搜索服务。讲师简介刘志嘉 阿里云智能 产品经理
Hologres系列课程(六)透明加速MaxCompute最佳实践
MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速、全托管的在线数据仓库服务。Hologres与MaxCompute高度融合,能以外表方式加速查询MaxCompute数据。本次主要介绍加速查询MaxCompute原理,以及如何建外表加速查询,导入内表最佳实践。讲师简介王奇(慧青),阿里巴巴技术专家,长期从事Hologres引擎开发工作
Hologres系列课程(七)离线数仓加速之云原生加速OSS最佳实践
对象存储服务OSS是一种海量、安全、低成本、高可靠的云存储服务,适合存放任意类型的文件。Hologres通过与OSS打通,支持通过创建外部表的方式,无需导入导出就能直接加速查询OSS的数据。本次主要介绍Hologres加速查询OSS原理,以及如何建外表加速查询OSS不同的文件格式(CSV、ORC等)讲师简介张露(雪胤),阿里巴巴技术专家,长期从事Hologres引擎开发工作
Hologres系列课程(十六)性能调优手段总结
本次主要介绍在Hologres中外表、内表常用的性能调优手段,提升自助化调优能力,实现资源更高效利用讲师简介余骏(清芬),阿里巴巴技术专家,多年分布式系统经历,对系统调优有丰富的经验
Apache Flink Meetup · 北京站
问题与互动页面(戳我进入)5月22日,Apache Flink 社区 1.13 新版本发布 Meetup 来啦!本次Apahce Flink Meetup 分为上下两场,嘉宾分别来自阿里巴巴、字节跳动、快手、爱奇艺和小红书。上半场将由 4 位技术专家带来 Flink 1.13 版本新功能的深入解读。例如 Winddow TVF,DataStream & Table API 交互等;下半场将另有 4 位资深行业技术专家分享 Flink 在互娱行业中的实践应用。全方位解析包括精准推荐、实时数仓、数据分析等在内的行业面临的典型问题。活动亮点超多实用干货,一方面第一时间 get 到 1.13 版本新 feature 和功能提升;另一方面也可以学习到如何探索 Flink 在互娱场景中的实践应用,例如今日头条,抖音背后的核心 - 基于 Flink 的推荐特征体系;活动形式多样化,线下线上同步开启,同城可参与线下 Meetup 面对面交流,异地也可在线观看直播,精彩内容不错过;丰富周边等你拿,报名参加就有机会获得超多 Flink 社区定制的精美周边!Meetup 技术交流群:合作伙伴
第二节课:EMR 产品入门
本节主要内容有 EMR 核心组件简介和使用、常用引擎使用示例、数据开发等讲师:孙大鹏,花名诚历,阿里巴巴 EMR 技术专家,Apache Sentry PMC,Apache Commons Committer,目前从事开源大数据存储和优化方面的工作。
云数据仓库+数据银行 — 持续定义SaaS模式云数据仓库MaxCompute
本次直播将介绍SaaS模式云数据仓库MaxCompute,如何助力数据银行SaaS模式云战略和一体化数据开放场景介绍。分享人:隆志强 阿里云智能 高级产品专家
云数据仓库+AI — 持续定义SaaS模式云数据仓库MaxCompute
本次直播将为您介绍云数据仓库MaxCompute 的AI、分布式科学计算能力与价值以及MaxCompute + AI 最佳实践。分享人:孟硕 阿里云智能 产品专家
飞天大数据产品价值解读 — 全域数据开发与综合治理平台 DataWorks
分享人:田奇铣 阿里云智能 产品专家本次直播将为您介绍全域数据开发与综合治理平台 DataWorks如何助力企业数据中台建设,以及基于DataWorks建设数据中台的典型场景与解决方案。
趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场
开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍王金海,趣头条数据平台负责人更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场
Delivering stream data reliably with Pravega | 开源大数据生态专场
开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍Flavio Junqueira,Apache Member,Apache Zookeeper PMC,Senior Destinguished Engineer at Dell Technologies滕昱,戴尔科技集团 软件开发总监更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场
基于Apache Flink的机器学习算法平台实践与开源 | 人工智能专场
人工智能专场人工智能是未来十年最重要的技术革命与驱动力,在各行各业产生者日益重要的作用。人工智能专场将集中介绍Flink在机器学习上的新技术与新应用,为参会者呈现Flink机器学习的具体应用实践与最新技术落地案例。讲师介绍杨旭,阿里巴巴资深算法专家更多直播信息人工智能专场>>>基于Apache Flink的机器学习算法平台实践与开源 | 人工智能专场携程实时智能检测平台实践 | 人工智能专场Apache Flink AI生态系统工作 | 人工智能专场
(第二部分)从Python 到Java ,Pyboot加速大数据和AI的融合
Python 代表机器学习生态,而以 Hadoop/Spark 为核心的开源大数据则以 Java 为主。前者拥有数不清的算法库和程序,后者承载着海量数据和大量的企业应用。除了 SQL 这个标准方式和各种五花八门的协议接口,还有没有更高效的一手数据通道,将两个生态对接起来,乃至深度融合?Pyboot 是我们在这个方向上的探索。有兴趣的同学欢迎现场观摩演示和技术交流。嘉宾介绍郑锴,花名铁杰,阿里巴巴高级技术专家,Apache Hadoop PMC,Apache Kerby 创立者。深耕分布式系统开发和开源大数据多年,目前专注于在阿里云上提供更好用更有弹性的 Hadoop/Spark 大数据平台;孙大鹏,花名诚历,阿里巴巴计算平台事业部 EMR 技术专家,Apache Sentry PMC,Apache Commons Committer,目前从事开源大数据存储和优化方面的工作;
混合云模式下MaxCompute +Hadoop混搭大数据架构实践 | 大数据企业级服务专场
混合云模式下MaxCompute +Hadoop混搭大数据架构实践-斗鱼张龙_大数据企业级服务专场嘉宾介绍张龙
阿里巴巴大数据产品最新特性介绍—DataWorks |2019大数据技术公开课第三季
本次直播将为您做DataWorks增值版本的高级feature及场景化介绍,帮您更好的了解和使用DataWorks增值版本。 <br/> 直播嘉宾:刘天鸢 阿里云智能事业群 高级产品经理
互金---众安保险数据平台实践分享
众安保险作为国内首家互联网保险公司,从创立之初计算平台就使用MaxCompute。MaxCompute不仅仅是一个计算平台,它还提供可用的IDE(DataWorks、Studio)开发工具进行数据分析和挖掘,从而降低了众安最初的开发成本。MaxCompute不仅为众安提供任务调度系统、元数据、数据质量监控、数据服务与安全,而且生态的丰富,资源与工具的共享,都能很好的满足众安的使用需求,让众安可以有更多时间去接触用户,为用户创造更大价值。
构建企业级大数据平台的经验和对未来的思考 | 大数据技术公开课第二季
大数据技术公开课第二季直播详情>>>![image]
从 Apache ORC 到 Apache Calcite | 第三讲 海胜专访《MaxCompute 与大数据查询引擎的技术和故事》
【直播主题】海胜专访《MaxCompute 与大数据查询引擎的技术和故事》【分享嘉宾】苑海胜 阿里云智能计算平台 高级技术专家 / Apache Calcite Committer / 前 Greenplum 数据库优化器 Team Lead / CMU硕士【直播时间】6月6日 16:00-16:50 【精彩剧透】MaxCompute与MPP数据库的比较分布式系统上Join是如何实现的MaxCompute 针对 Join 和聚合引入的 Hash 和 Range Clustering 的优化从中国到日本,再到美国,工作经历和体验有何差别
DataWorks Notebook
DataWorks的Notebook提供了一个交互式、灵活且可复用的数据处理和分析环境,增强了直观性、模块化和交互性,帮助您更轻松地进行数据处理、探索、可视化和模型构建。
2024FFA分论坛-生产实践2
FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来,将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。
2024FFA分论坛-Data+Ai
FFA2024Data+AI专场由Apache Flink核心贡献者与来自哔哩哔哩、抖音集团、Elastic、京东、硕橙科技等公司的一线技术专家带来,聚焦实时大数据处理与人工智能的前沿融合,共同探讨如何利用Flink助力AI大模型技术的实时化升级,议题涵盖但不限于特征工程、训练、推理、大模型架构优化、以及实时AI大模型在各行业领域的创新应用。
2024FFA-分论坛-流式湖仓1
FFA2024流式湖仓专场由Apache Flink核心贡献者与来自淘天集团、抖音集团、vivo、小米、中原银行、阿里云智能、蚂蚁集团、贝壳找房、货拉拉等公司的一线技术专家解析流批一体、存算分离、湖仓融合的实时湖仓架构,探讨以Apache Paimon为流批一体湖存储的湖仓架构建设实践,如何帮助业务获得更实时的数据来驱动业务决策,并实现数据管理的降本增效。
Havenask入门课程第2节:使用hape部署单机版Havenask
Havenask是阿里巴巴自主研发的大规模分布式搜索引擎,主要专注于智能搜索和海量数据实时检索,其核心能力广泛应用于阿里巴巴内部的众多业务,如淘宝、天猫商品搜索,盒马搜索,菜鸟物流订单实时检索等。并于2022年11月对外正式开源,具有灵活的定制和开发能力,支持算法快速迭代,帮助客户和开发者量身定做适合自身业务的智能搜索服务,助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们,为大家全面讲解Havenask的相关知识,通过课程可以了解到产品能力、架构原理、安装部署等内容,同时还有详细的操作演示,帮助大家更好了解和使用产品。 课程介绍: 此视频为Havenask入门课程第2节《使用hape部署单机版Havenask》,共讲解4部分内容。 -hape工具的介绍 -部署单机版Havenask -如何写入数据、检索 -问题排查 我们期望通过课程可以帮助您更好的使用Havenask,欢迎广大开发者加入项目开发,共建高质量的搜索引擎,共同推进国产化开源搜索引擎技术快速发展,普惠更多的开发者和企业。 此外,对于有使用需求的企业级开发者,我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch,欢迎企业级开发者们试用体验。 阿里云OpenSearch官网:https://www.aliyun.com/product/opensearch Havenask官网地址:https://havenask.net/ Github:https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群:
FY24阿里云暑期夏令营“学生说”第四集
听一听参与夏令营的同学们怎么说,阿里云在这里期待迎接更多优秀的同学们!了解更多夏令营信息请点击:https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso
FY24阿里云暑期夏令营“学生说”第三集
听一听参与夏令营的同学们怎么说,阿里云在这里期待迎接更多优秀的同学们!了解更多夏令营信息请点击:https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso
Streaming Lakehouse Meetup
本次 Meetup 邀请了来自阿里巴巴、字节跳动的七位技术专家,聚焦大规模 CDC 数据入湖实践、Flink 一站式湖仓一体构建、流式数据湖关键特性以及统一的 RSS 等,全方位解析 Streaming Lakehouse 最前沿的技术,最新的产业实践!Flink、Paimon、Celeborn、Flink CDC、StarRocks 多个开源项目汇聚在一起,会碰撞出怎样的火花?敬请期待! 讲师: 李劲松 阿里云开源大数据表存储团队负责人、阿里巴巴高级技术专家 徐榜江 阿里云 Flink 数据通道负责人 刘大龙 阿里云研发工程师 李国君 字节跳动基础架构工程师 周克勇 阿里云/数据湖Spark引擎负责人 曾庆栋 阿里云高级开发工程师 王洪顺 阿里云大数据开发工程师
基于 Kibana Discover 筛选数据,自由搜索航班信息
点此免费试用 ->本实验基于Kibana Discover 功能来搜索航班信息,例如航班号、航班状态、目的地天气等,并保存搜索和导出搜索结果为CSV报告。通过本实验,您将掌握Kibana Discover的使用方法,帮助您更加快速地筛选和搜索数据,从而提高工作效率。讲师简介刘晓国 - Elastic 首席布道师
Flink Forward 平台建设 “货拉拉基于Flink计算引擎的应用与优化实践”
Flink Forward 平台建设 “货拉拉基于Flink计算引擎的应用与优化实践”王世涛货拉拉大数据实时研发平台负责人
五、培训课程-AIE技术分享之遥感AI算法原理
为加强用户对AI Earth的理解,促进双方交流,提升AI Earth在地球科学领域的服务支撑能力,达摩院多位专家带来AI Earth地球科学云平台线上系列培训,干货满满,诚邀参与!
Flink Forward 行业案例“Flink在蔚来自动驾驶AO部门的运用”
Flink Forward 行业案例“Flink在蔚来自动驾驶AO部门的运用”林志浩 蔚来资深数据开发工程师
Flink Forward 行业案例“FlinkSQL在米哈游的平台建设和应用实践”
Flink Forward 行业案例“FlinkSQL在米哈游的平台建设和应用实践”张剑 米哈游实时计算团队负责人
Flink Forward 行业案例“运满满 实时计算实践和思考”
Flink Forward 行业案例“运满满 实时计算实践和思考”欧锐 满帮实时计算团队负责人
大数据与机器学习
大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。