Apache Flink and the Apache Way | 开源大数据生态专场
开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍Fabian Hueske,Apache Flink PMC,Ververica Co-founder,Software Engneer更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场
OPPO基于Apache Flink 的实时数仓实践 | 实时数仓专场
实时数仓专场数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战。实时数仓专场将聚焦Flink实时数仓在数据链路中扮演的角色与在智能商业中的重要价值,由一线大厂大数据专家分享实时数仓的应用实践及平台智能化的探索与思考。讲师介绍张俊,Apache Flink Contributor,OPPO大数据平台研发负责人更多直播信息实时数仓专场>>>美团点评基于Apache Flink 的实时数仓平台实践 | 实时数仓专场小米流式平台架构演进与实践 | 实时数仓专场Netflix:Evolving Keystone to an Open Collaborative Real-time ETL Platform | 实时数仓专场菜鸟供应链实时数据技术架构的演进 | 实时数仓专场OPPO基于Apache Flink 的实时数仓实践 | 实时数仓专场
bilibili 实时平台的架构与实践 | 企业实践专场
企业实践专场企业实践专场将邀请知名企业一线技术专家,分享大数据及人工智能最新技术进展和实践,详细解读Apache Flink在各行业的应用与落地,包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验,并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍郑志升,bilibili 实时平台负责人更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场
Apache Flink在快手实时多维分析场景的应用 | 企业实践专场
企业实践专场企业实践专场将邀请知名企业一线技术专家,分享大数据及人工智能最新技术进展和实践,详细解读Apache Flink在各行业的应用与落地,包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验,并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍董亭亭,快手实时计算引擎团队负责人徐明,快手大数据架构研发工程师更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场
New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场
Apache Flink核心技术专场数据的价值在于数据分析,而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向,并回归技术本质,打造Flink全方位技术盛宴。讲师介绍李钰,Apache Flink Contributor,HBase PMC,阿里巴巴高级技术专家邱从贤,阿里巴巴高级开发工程师更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场
阿里风控大脑关于大数据应用的探索与实践
在今天复杂线上业务场景中,风险控制是一个不容忽视重要环节。在消费者保护,新零售防盗损,营商环境治理,短视频审核,恶意流量清洗等众多场景中,都有阿里巴巴风控大脑的守护,从风险识别、到风险决策、风险审核、风险处置全链路维护着业务安全。阿里巴巴新零售技术事业群 高级数据技术专家 丁明峰 深度揭秘 《阿里风控大脑关于大数据应用的探索与实践》嘉宾介绍丁明峰(山蜂),阿里巴巴CRO技术部高级数据技术专家<img src="https://yqfile.alicdn.com/20b23d78956a7b9468ee690a1a25ca73b2b0e7b8.png" width="200"更多课程阿里经济体大数据平台的建设与思考解密淘宝推荐实战,打造“比你还懂你”的个性化APP阿里风控大脑关于大数据应用的探索与实践可闭环 可沉淀 可持续的企业级数据赋能体系--友盟云数据中台产品实践
(第一部分)从Python 到Java ,Pyboot加速大数据和AI的融合
Python 代表机器学习生态,而以 Hadoop/Spark 为核心的开源大数据则以 Java 为主。前者拥有数不清的算法库和程序,后者承载着海量数据和大量的企业应用。除了 SQL 这个标准方式和各种五花八门的协议接口,还有没有更高效的一手数据通道,将两个生态对接起来,乃至深度融合?Pyboot 是我们在这个方向上的探索。有兴趣的同学欢迎现场观摩演示和技术交流。嘉宾介绍郑锴,花名铁杰,阿里巴巴高级技术专家,Apache Hadoop PMC,Apache Kerby 创立者。深耕分布式系统开发和开源大数据多年,目前专注于在阿里云上提供更好用更有弹性的 Hadoop/Spark 大数据平台;孙大鹏,花名诚历,阿里巴巴计算平台事业部 EMR 技术专家,Apache Sentry PMC,Apache Commons Committer,目前从事开源大数据存储和优化方面的工作;
云上大数据的存储方案设计和选择
上云拐点已来,开源大数据上云是业界共识。如何满足在云上低成本存储海量数据的同时又实现高效率弹性计算的潜在需求?放眼业界,都有哪些成熟存储方案和选择?各自适用的存储和计算场景是什么?背后的技术关键和考虑因素都有哪些?欢迎大数据技术爱好者面对面交流和探讨!嘉宾介绍姚舜扬,花名辰山,阿里巴巴计算平台事业部 EMR 高级开发工程师,目前从事大数据存储方面的开发和优化工作;苏昆辉,花名抚月,阿里巴巴计算平台事业部 EMR 高级工程师, 曾就职于华为、网易. Apache HDFS committer. 对Hadoop、HBase等有深入研究, 对分布式存储、高性能优化有丰富经验. 目前从事大数据云化相关工作.
Spark on Kubernetes & YARN
以Kubernetes为代表的云原生技术越来越流行起来,spark是如何跑在Kubernetes之上来享受云原生技术的红利?Spark跑在Kubernetes之上和跑在Hadoop YARN上又有什么区别?以及Kubernetes 和YARN的差异点是什么。讲师介绍何剑,阿里巴巴高级技术专家,专注于Kubernetes容器云和大数据底层调度以及基础架构,负责阿里巴巴容器平台在线服务和离线计算任务混部。此前就职于Hortonworks, 是Hadoop 社区Committer和PMC成员
New Developments in the Open Source Ecosystem_ Apache Spark 3.0 and Koalas-李潇
New Developments in the Open Source Ecosystem_ Apache Spark 3.0 and Koalas-李潇
阿里巴巴大数据产品最新特性介绍—DataWorks |2019大数据技术公开课第三季
本次直播将为您做DataWorks增值版本的高级feature及场景化介绍,帮您更好的了解和使用DataWorks增值版本。 <br/> 直播嘉宾:刘天鸢 阿里云智能事业群 高级产品经理
阿里巴巴大数据产品最新特性介绍—MaxCompute|2019大数据技术公开课第三季
本次直播将为您讲解MaxCompute产品近期最新发布的feature,涵盖SQL多项最新功能、预付费资源监控报警、IP白名单支持IPV6以及Logview中增加SQL复杂度等内容。 直播嘉宾: 曲宁 阿里云智能事业群 产品专家 <br/>
生活服务---MaxCompute在高德大数据上的应用
高德对数据平台的要求不仅是数据集成、开发、运维中心、数据质量、数据地图、数据安全以及数据服务等全链路All in One,还希望能以可视化的方式进行用户交互,以提高开发效率。以运维中心为例,希望所使用的工具能够将调度节点可视化,方便进行不同时间粒度的任务依赖。同时,还希望拥有可视化的数据地图用于管理元数据信息,方便上下游即时查看。MaxCompute正是符合高德数据业务诉求的给力产品。不仅具有零学习成本和完善的IDE等优势,更具备超高弹性,让高德得以轻松应对国庆假期的超高流量。同时,基于MaxCompute等阿里云产品,让高德内部迄今为止最大的公共项目“魔方”得以实现,为用户提供更优质的出行服务。
2024FFA分论坛-生产实践2
FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来,将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。
2024FFA分论坛-数据集成1
FFA2024数据集成专场由Apache Flink核心贡献者与来自阿里云智能、杭州银行、光大银行、货拉拉、数新智能、镜舟科技等公司的一线技术专家聚焦于实时技术在数据集成场景的价值与发展,讨论实时技术如何提升数据处理的全链路时效性,分析如何基于 Flink 设计实时数据集成框架,以及实时数据集成技术在不同业务领域的最佳实践。
2024FFA分论坛-流式湖仓3
FFA2024流式湖仓专场由 Apache Flink 核心贡献者与来自淘天集团、抖音集团、vivo、小米、中原银行、阿里云智能、蚂蚁集团、贝壳找房、货拉拉等公司的一线技术专家解析流批一体、存算分离、湖仓融合的实时湖仓架构,探讨以 Apache Paimon 为流批一体湖存储的湖仓架构建设实践,如何帮助业务获得更实时的数据来驱动业务决策,并实现数据管理的降本增效。
Havenask入门课程第4节:创建表
Havenask是阿里巴巴自主研发的大规模分布式搜索引擎,主要专注于智能搜索和海量数据实时检索,其核心能力广泛应用于阿里巴巴内部的众多业务,如淘宝、天猫商品搜索,盒马搜索,菜鸟物流订单实时检索等。并于2022年11月对外正式开源,具有灵活的定制和开发能力,支持算法快速迭代,帮助客户和开发者量身定做适合自身业务的智能搜索服务,助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们,为大家全面讲解Havenask的相关知识,通过课程可以了解到产品能力、架构原理、安装部署等内容,同时还有详细的操作演示,帮助大家更好了解和使用产品。 课程介绍: 此视频为Havenask入门课程第4节《创建表》,共讲解2部分内容。 -创建直写表 -创建全量表 我们期望通过课程可以帮助您更好的使用Havenask,欢迎广大开发者加入项目开发,共建高质量的搜索引擎,共同推进国产化开源搜索引擎技术快速发展,普惠更多的开发者和企业。 此外,对于有使用需求的企业级开发者,我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch,欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网:https://www.aliyun.com/product/opensearch 官网地址:https://havenask.net/ Github:https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群:
Apache Kyuubi & Celeborn,助力 Spark 拥抱云原生
10月14日14:00-17:30,Apache Kyuubi & Celeborn 社区将在杭州举办「Apache Kyuubi & Celeborn (Incubating) 助力 Spark 拥抱云原生」Meetup,本次 Meetup 邀请到阿里云、网易数帆、Cisco、丁香园、Shopee 等技术大咖深入探讨交流基于 Apache Kyuubi & Celeborn 的技术实践,助力 Spark 拥抱云原生!讲师/嘉宾简介周克勇(一锤):阿里云 EMR Spark 引擎负责人,Apache Celeborn (Incubating) 的发起人潘成:网易数帆大数据技术专家,Apache Kyuubi PMC Member,Apache Celeborn (Incubating) PPMC Member朱夷(AngersZhuuuu):Shopee 技术专家, Spark PIC。 Apache Celeborn(Incubating) PPMC/Apache Spark active Contributor/ Apache HDFS/YARN contributorHe Zhao:Data Engineer at CiscoPengqi Li:Data Engineer at Cisco陈福:Apache Kyuubi PMC Member / Apache Celeborn (Incubating) Committer / 丁香园大数据基础平台负责人
FY24阿里云暑期夏令营“学生说”第四集
听一听参与夏令营的同学们怎么说,阿里云在这里期待迎接更多优秀的同学们!了解更多夏令营信息请点击:https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso
FY24阿里云暑期夏令营总回顾(上)
学生们在为期5天的夏令营中,通过探索阿里云文化、实践云上场景,了解前沿科技、感受科技魅力、探究数字经济发展趋势、快速提升创新实践能力。了解更多夏令营信息请点击:https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso
FY23阿里云暑期夏令营总回顾(下)
学生们在为期5天的夏令营中,通过探索阿里云文化、实践云上场景,了解前沿科技、感受科技魅力、探究数字经济发展趋势、快速提升创新实践能力。了解更多夏令营信息请点击:https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso
FY23阿里云暑期夏令营精彩瞬间(下)
来自全国不同高校的学生们相聚在阿里云园区,一声同学,一份关切,情意绵长,美好永在!了解更多夏令营信息请点击:https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso
AI技术分享会第十一期 | 展心展力MetaApp:基于DeepRec的稀疏模型训练实践
MetaApp-推荐广告研发部,主要负责 MetaApp 拳头产品 233 乐园的首页信息流的推荐和广告系统,是比较传统的推广搜组。本次议题介绍了 MetaApp-推荐广告研发部 从传统的TensorFlow(cpu)+自研分布式ps方案,逐步迁移到使用基于阿里云开发的开源分布式机器学习训练框架DeepRec的方案,包括了离线训练和线上inference的完整流程。迁移完成后,新方案大大提高了训练效率和线上服务的效率,并且有效的降低了成本。 一、分享议题 展心展力MetaApp:基于DeepRec的稀疏模型训练实践 二、直播时间 2023年7月5日(周三)18:00-18:40 三、听众收益 多级存储的性能问题 模型压缩 基于GPU的训练 完全基于显存训练
Flink Forward 平台建设 “联通Flink实时计算平台运维实践”
Flink Forward 平台建设“联通Flink实时计算平台运维实践”穆纯进联通数科实时计算团队负责人
Flink Forward 行业实践“中信建设证券基于Flink的实时计算平台探索与实践”
Flink Forward 行业实践“中信建设证券基于Flink的实时计算平台探索与实践”宋宇航 中信建投证券流计算技术专家王若梦 中信建投证券实时数仓项目负责人
Flink Forward 平台建设“爱奇艺统一实时计算平台建设”
Flink Forward 平台建设“爱奇艺统一实时计算平台建设”李恒 爱奇艺资深研发工程师
Flink Forward 平台建设“阿里实时计算平台建设实践”
Flink Forward 平台建设“阿里实时计算平台建设实践”周凯波 阿里云高级技术专家
Flink Forward Asia 实时风控专场 “Airwallex 基于Flink 打造实时风控系统”
Flink Forward Asia 实时风控专场 “Airwallex 基于Flink 打造实时风控系统”董大凡 Airwallex 风控团队研发经理
大数据与机器学习
大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。