庞大的小文件和冷文件数量会对HDFS的性能产生不利影响，严重时甚至影响业务稳定性，这个主题将介绍对大容量HDFS进行小文件和冷文件分析的方法，并基于分析结果可以采取哪些处理措施。讲师：郭聪，花名析源，阿里云计算平台事业部技术专家。目前主要从事大数据领域APM产品的研发工作。

本次直播主要介绍大数据生态中常见的元数据服务部署形态，并分析大规模文件元数据下在生产环境中可能遇到的问题，以及针对这些问题如何进行优化和调整。讲师介绍孙大鹏，花名诚历，阿里巴巴计算平台事业部 EMR 技术专家，Apache Sentry PMC，Apache Commons Committer，目前从事开源大数据存储和优化方面的工作。

【收藏+下载】Flink年度学习资料大礼包！问题收集页面：https://shimo.im/sheets/twgyxGh9hqy6DHYk/MODOC/相关会议：Flink Forward 全球在线会议中文精华版0425Flink Forward 全球在线会议中文精华版0426Flink Forward · 全球首个在线会议中文精华版普惠全球开发者！这一次，格外与众不同。Apache 顶级项目盛会 Flink Forward 在线会议集结欧洲、北美洲、亚洲众多国际大厂资深技术专家跨时区免费在线分享。中文精华版将由 Apache Member 、Flink PMC 及社区投票共同筛选大会精彩 talk，翻译并进行中文解说，让你足不出户尽享优质内容。讲师信息滕昱|戴尔科技集团软件开发总监王峰（莫问）| 阿里云计算平台事业部实时计算与开放平台部门负责人，资深技术专家个人简介：目前带领团队基于Flink、Hadoop以及Kubernetes开源技术体系打造的大数据实时计算平台，不仅服务于阿里集团（淘宝、天猫、聚划算、高德、优酷、飞猪和菜鸟等）所有实时数据业务，同时也通过阿里云为广大中小企业提供全球领先的实时计算产品服务。杨旭（品数）|阿里巴巴云机器学习平台PAI中基础机器学习算法的负责人，资深算法专家个人信息：2004年获南开大学数学博士学位；随后在南开大学信息学院从事博士后研究工作；2006年加入微软亚洲研究院，进行符号计算、大规模矩阵计算及机器学习算法研究；2010年加入阿里巴巴，从事大数据相关的统计和机器学习算法研发。出版《重构大数据统计》，《机器学习在线：解析阿里云机器学习平台》等著作。薛康 | 滴滴技术专家，实时计算负责人。毕业于浙江大学，曾任百度高级研发工程师，对大数据生态建设有丰富经验。于茜 | 微博高级算法工程师个人信息：多年来一直在使用Flink构建实时数据处理和在线机器学习框架。此外，在社交媒体应用推荐系统方面经验丰富，有助于将最佳内容与微博用户匹配。于翔|微博机器学习研发中心-算法架构工程师。个人信息：现负责微博机器学习平台算法系统模块。主要涉及机器学习，深度学习，模型训练，大规模参数服务，模型服务等。目前专注于大规模稀疏在线学习在微博业务场景的应用曹富强|微博机器学习研发中心-系统工程师个人信息：现负责微博机器学习平台数据计算模块，主要涉及实时计算Flink、Storm、SparkStreaming，离线计算Hive、Spark等。目前专注于Flink在微博机器学习场景的应用。章剑锋（简锋）| Apache Software Foundation Member.PMC of Apache Tez, Livy, Zeppelin.Committer of Apache Pig，阿里巴巴 高级技术专家个人信息：开源界老兵，曾就职于Hortonworks，目前在阿里巴巴计算平台事业部任高级技术专家。并同时担任Apache Tez、Livy 、Zeppelin三个开源项目的PMC，以及Apache Pig的Committer。有幸很早就接触了大数据和开源，希望可以在开源领域为大数据和数据科学做点贡献。秦江杰（江杰）| Apache Kafka PMC，Apache Flink Committer，阿里巴巴高级技术专家个人信息：本科毕业于上海交大，硕士毕业于卡耐基梅陇大学，加入阿里巴巴前曾在 IBM，LinkedIn 任职。目前是 Apache Kafka PMC 和 Apache Flink Committer。杨克特（鲁尼）| Apache Member，Apache Flink PMC ，阿里巴巴高级技术专家个人信息：2011年硕士毕业于浙江大学后加入阿里巴巴，先后从事过搜索引擎，调度系统，大数据处理等核心系统的设计与研发，目前负责实时计算 Flink的SQL引擎。孙金城（金竹）| Apache Member，Apache Flink PMC，阿里巴巴高级技术专家个人信息：自2015-以来一直专注于大数据计算领域，并持续贡献于Apache Flink 社区。2011年加入阿里巴巴集团，目前就职于阿里巴巴计算平台事业部。2015年开始投入阿里新一代实时计算平台Blink的研发工作。早期负责搜索事业部的离线大数据处理，以及将搜索离线数据处理的计算迁移到Blink计算平台之上，之后进行Blink计算平台的查询和优化工作。于2019年负责Apache Flink Python API的整体架构开发工作。李钰（绝顶）| HBase PMC，Apache Flink Committer，阿里巴巴实时计算部高级技术专家伍翀（云邪）| Apache Flink PMC&Committer，阿里巴巴技术专家个人信息：北京理工大学硕士毕业，2015 -加入阿里巴巴，参与阿里巴巴实时计算引擎 JStorm 的开发与设计。2016 年开始从事阿里新一代实时计算引擎 Blink SQL 的开发与优化，并活跃于 Flink 社区，于2017年初成为Apache Flink Committer，Flink/Blink SQL 模块的核心开发之一。目前主要专注于分布式处理和实时计算，热爱开源，热爱分享。问题收集页面：https://shimo.im/sheets/twgyxGh9hqy6DHYk/MODOC/

大量实验结果表明深度学习能更好地帮助商家为用户个性化推荐感兴趣的商品。Office Depot将Analytics Zoo工具包引入到他们的推荐系统中，在Spark集群上分布式训练了各种推荐算法模型，实验结果相比于传统的推荐算法有了十分显著的提升，本次分享主要介绍Office Depot使用Analytics Zoo构建智能推荐系统的实践经验。有兴趣的同学，可以提前关注此开源项目：https://github.com/intel-analytics/analytics-zoo讲师介绍讲师：黄凯Intel数据分析团队软件工程师。负责开发基于Apache Spark的深度学习框架，同时支持企业客户在大数据平台上构建端到端的深度学习应用。他是Analytics Zoo和BigDL的核心贡献者之一。

MaxCompute为用户提供了开放的元数据服务Information Schema。通过Information Schema用户可以对MaxCompute中管理的对象使用SQL进行全局分析，可以分析用户数据访问行为等，也可以利用这些数据构建自己的内部的元数据管理系统。本次直播将为您系统讲解Information Schema简介，安装使用，使用限制，常用场景以及使用建议。讲师介绍龙舟 阿里云智能 技术专家

Elasticsearch 是一款非常强大的开源搜索及分析引擎，在 Search Engine 分类中长期位列第一。而Elasticsearch 除了搜索以外，结合生态 Kibana、Logstash和Beats，Elasticsearch还被广泛运用在大数据近实时分析场景中，包括日志分析、运维监控、信息安全等多个领域。本次入门课程主要帮大家从概念入手，并穿插底层技术讲解及教学实操，让您更深入的了解并如何运用Elasticsearch。为了让更多用户能够跟着教程边学边做，阿里云开发者社区为大家准备了阿里云Elasticsearch 3节点1核2G，1个月的免费实验环境。本节课主要为您讲解产品特征及发展历史公司愿景与商业模式【新用户开通】阿里云Elasticsearch 3节点1核2G免费1个月开通条件：新注册用户付费模式：包年包月服务选择：商业通用版，3节点1核2G版本【讲师简介】阮一鸣，eBay Pronto 平台技术负责人。极客时间《Elasticsearch 核心技术与实战》课程讲师Pronto平台目前管理了eBay 内部上百个Elasticsearch 集群，包括4000多个数据节点。这些集群目前被广泛使用在 eBay 的生产环境中。涵盖了网站搜索，商品推荐，日志管理，风险控制，IT运维，安全监控等多个领域钉钉扫码加入ES交流群，获取课程资料【课程收益】1、从概念到实操，轻松入门2、灵活运用ELK进行搜索与大数据分析3、阿里云开发者社区免费提供云ES（3节点1核2G ）1个月免费实战环境课程目录3月03日 周二 19:30——20:30【01 | 课程介绍Elasticsearch核心技术与实战】3月03日 周二 19:45——20:00【02 | 内容综述及学习建议】3月03日 周二 20:00——20:15【03 | Elasticsearch简介及其发展历史】3月03日 周二 20:15——20:30【04 | Elastic Stack家族成员及其应用场景】3月04 周三 19:30——20:00【05 | Elasticsearch的安装与简单配置】3月05日 周四 19:30——20:00【06 | Kibanan的安装与界面快速浏览】3月09日 周一 19:30——20:00【07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro】3月10日 周二 19:30——20:00【08 | Logstash安装与导入数据】3月11日 周三 19:30——20:00【09 | 基本概念：索引、文档和REST API】3月12日 周四 19:30——20:00【10 | 基本概念：节点、集群、分片及副本】3月16日 周一 19:30——20:00【11 | 文档的基本CRUD与批量操作】3月17日 周二 19:30——20:00【12 | 倒排索引介绍】3月18日 周三 19:30——20:00【13 | 通过Analyzer进行分词】3月19日 周四 19:30——20:00【14 | Search API概览】3月23日 周一 19:30——20:00【15 | URI Search详解】3月24日 周二 19:30——20:00【16 | Request Body与Query DSL简介】3月25日 周三 19:30——20:00【17 | Query String&Simple Query String查询】3月26日 周四 19:30——20:00【18 | Dynamic Mapping和常见字段类型】3月30日 周一 19:30——20:00【19 | 显式Mapping设置与常见参数介绍】3月31日 周二 19:30——20:00【20 | 多字段特性及Mapping中配置自定义Analyzer】4月01日 周三 19:30——20:00【21 | Index Template和Dynamic Template】4月02日 周四 19:30——20:00【22 | Elasticsearch聚合分析简介】4月06日 周一 19:30——20:00【23 | 课程总结】

Elasticsearch 是一款非常强大的开源搜索及分析引擎，在 Search Engine 分类中长期位列第一。而Elasticsearch 除了搜索以外，结合生态 Kibana、Logstash和Beats，Elasticsearch还被广泛运用在大数据近实时分析场景中，包括日志分析、运维监控、信息安全等多个领域。本次入门课程主要帮大家从概念入手，并穿插底层技术讲解及教学实操，让您更深入的了解并如何运用Elasticsearch。为了让更多用户能够跟着教程边学边做，阿里云开发者社区为大家准备了阿里云Elasticsearch 3节点1核2G，1个月的免费实验环境。本节课主要为您讲解产品特征及发展历史公司愿景与商业模式【新用户开通】阿里云Elasticsearch 3节点1核2G免费1个月开通条件：新注册用户付费模式：包年包月服务选择：商业通用版，3节点1核2G版本【讲师简介】阮一鸣，eBay Pronto 平台技术负责人。极客时间《Elasticsearch 核心技术与实战》课程讲师Pronto平台目前管理了eBay 内部上百个Elasticsearch 集群，包括4000多个数据节点。这些集群目前被广泛使用在 eBay 的生产环境中。涵盖了网站搜索，商品推荐，日志管理，风险控制，IT运维，安全监控等多个领域钉钉扫码加入ES交流群，获取课程资料【课程收益】1、从概念到实操，轻松入门2、灵活运用ELK进行搜索与大数据分析3、阿里云开发者社区免费提供云ES（3节点1核2G ）1个月免费实战环境课程目录3月03日 周二 19:30——20:30【01 | 课程介绍Elasticsearch核心技术与实战】3月03日 周二 19:45——20:00【02 | 内容综述及学习建议】3月03日 周二 20:00——20:15【03 | Elasticsearch简介及其发展历史】3月03日 周二 20:15——20:30【04 | Elastic Stack家族成员及其应用场景】3月04 周三 19:30——20:00【05 | Elasticsearch的安装与简单配置】3月05日 周四 19:30——20:00【06 | Kibanan的安装与界面快速浏览】3月09日 周一 19:30——20:00【07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro】3月10日 周二 19:30——20:00【08 | Logstash安装与导入数据】3月11日 周三 19:30——20:00【09 | 基本概念：索引、文档和REST API】3月12日 周四 19:30——20:00【10 | 基本概念：节点、集群、分片及副本】3月16日 周一 19:30——20:00【11 | 文档的基本CRUD与批量操作】3月17日 周二 19:30——20:00【12 | 倒排索引介绍】3月18日 周三 19:30——20:00【13 | 通过Analyzer进行分词】3月19日 周四 19:30——20:00【14 | Search API概览】3月23日 周一 19:30——20:00【15 | URI Search详解】3月24日 周二 19:30——20:00【16 | Request Body与Query DSL简介】3月25日 周三 19:30——20:00【17 | Query String&Simple Query String查询】3月26日 周四 19:30——20:00【18 | Dynamic Mapping和常见字段类型】3月30日 周一 19:30——20:00【19 | 显式Mapping设置与常见参数介绍】3月31日 周二 19:30——20:00【20 | 多字段特性及Mapping中配置自定义Analyzer】4月01日 周三 19:30——20:00【21 | Index Template和Dynamic Template】4月02日 周四 19:30——20:00【22 | Elasticsearch聚合分析简介】4月06日 周一 19:30——20:00【23 | 课程总结】

Elasticsearch 是一款非常强大的开源搜索及分析引擎，在 Search Engine 分类中长期位列第一。而Elasticsearch 除了搜索以外，结合生态 Kibana、Logstash和Beats，Elasticsearch还被广泛运用在大数据近实时分析场景中，包括日志分析、运维监控、信息安全等多个领域。本次入门课程主要帮大家从概念入手，并穿插底层技术讲解及教学实操，让您更深入的了解并如何运用Elasticsearch。为了让更多用户能够跟着教程边学边做，阿里云开发者社区为大家准备了阿里云Elasticsearch 3节点1核2G，1个月的免费实验环境。本节课主要为您讲解产品特征及发展历史公司愿景与商业模式【新用户开通】阿里云Elasticsearch 3节点1核2G免费1个月开通条件：新注册用户付费模式：包年包月服务选择：商业通用版，3节点1核2G版本【讲师简介】阮一鸣，eBay Pronto 平台技术负责人。极客时间《Elasticsearch 核心技术与实战》课程讲师Pronto平台目前管理了eBay 内部上百个Elasticsearch 集群，包括4000多个数据节点。这些集群目前被广泛使用在 eBay 的生产环境中。涵盖了网站搜索，商品推荐，日志管理，风险控制，IT运维，安全监控等多个领域钉钉扫码加入ES交流群，获取课程资料【课程收益】1、从概念到实操，轻松入门2、灵活运用ELK进行搜索与大数据分析3、阿里云开发者社区免费提供云ES（3节点1核2G ）1个月免费实战环境课程目录3月03日 周二 19:30——20:30【01 | 课程介绍Elasticsearch核心技术与实战】3月03日 周二 19:45——20:00【02 | 内容综述及学习建议】3月03日 周二 20:00——20:15【03 | Elasticsearch简介及其发展历史】3月03日 周二 20:15——20:30【04 | Elastic Stack家族成员及其应用场景】3月04 周三 19:30——20:00【05 | Elasticsearch的安装与简单配置】3月05日 周四 19:30——20:00【06 | Kibanan的安装与界面快速浏览】3月09日 周一 19:30——20:00【07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro】3月10日 周二 19:30——20:00【08 | Logstash安装与导入数据】3月11日 周三 19:30——20:00【09 | 基本概念：索引、文档和REST API】3月12日 周四 19:30——20:00【10 | 基本概念：节点、集群、分片及副本】3月16日 周一 19:30——20:00【11 | 文档的基本CRUD与批量操作】3月17日 周二 19:30——20:00【12 | 倒排索引介绍】3月18日 周三 19:30——20:00【13 | 通过Analyzer进行分词】3月19日 周四 19:30——20:00【14 | Search API概览】3月23日 周一 19:30——20:00【15 | URI Search详解】3月24日 周二 19:30——20:00【16 | Request Body与Query DSL简介】3月25日 周三 19:30——20:00【17 | Query String&Simple Query String查询】3月26日 周四 19:30——20:00【18 | Dynamic Mapping和常见字段类型】3月30日 周一 19:30——20:00【19 | 显式Mapping设置与常见参数介绍】3月31日 周二 19:30——20:00【20 | 多字段特性及Mapping中配置自定义Analyzer】4月01日 周三 19:30——20:00【21 | Index Template和Dynamic Template】4月02日 周四 19:30——20:00【22 | Elasticsearch聚合分析简介】4月06日 周一 19:30——20:00【23 | 课程总结】

Elasticsearch 是一款非常强大的开源搜索及分析引擎，在 Search Engine 分类中长期位列第一。而Elasticsearch 除了搜索以外，结合生态 Kibana、Logstash和Beats，Elasticsearch还被广泛运用在大数据近实时分析场景中，包括日志分析、运维监控、信息安全等多个领域。本次入门课程主要帮大家从概念入手，并穿插底层技术讲解及教学实操，让您更深入的了解并如何运用Elasticsearch。为了让更多用户能够跟着教程边学边做，阿里云开发者社区为大家准备了阿里云Elasticsearch 3节点1核2G，1个月的免费实验环境。本节课主要为您讲解产品特征及发展历史公司愿景与商业模式【新用户开通】阿里云Elasticsearch 3节点1核2G免费1个月开通条件：新注册用户付费模式：包年包月服务选择：商业通用版，3节点1核2G版本【讲师简介】阮一鸣，eBay Pronto 平台技术负责人。极客时间《Elasticsearch 核心技术与实战》课程讲师Pronto平台目前管理了eBay 内部上百个Elasticsearch 集群，包括4000多个数据节点。这些集群目前被广泛使用在 eBay 的生产环境中。涵盖了网站搜索，商品推荐，日志管理，风险控制，IT运维，安全监控等多个领域钉钉扫码加入ES交流群，获取课程资料【课程收益】1、从概念到实操，轻松入门2、灵活运用ELK进行搜索与大数据分析3、阿里云开发者社区免费提供云ES（3节点1核2G ）1个月免费实战环境课程目录3月03日 周二 19:30——20:30【01 | 课程介绍Elasticsearch核心技术与实战】3月03日 周二 19:45——20:00【02 | 内容综述及学习建议】3月03日 周二 20:00——20:15【03 | Elasticsearch简介及其发展历史】3月03日 周二 20:15——20:30【04 | Elastic Stack家族成员及其应用场景】3月04 周三 19:30——20:00【05 | Elasticsearch的安装与简单配置】3月05日 周四 19:30——20:00【06 | Kibanan的安装与界面快速浏览】3月09日 周一 19:30——20:00【07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro】3月10日 周二 19:30——20:00【08 | Logstash安装与导入数据】3月11日 周三 19:30——20:00【09 | 基本概念：索引、文档和REST API】3月12日 周四 19:30——20:00【10 | 基本概念：节点、集群、分片及副本】3月16日 周一 19:30——20:00【11 | 文档的基本CRUD与批量操作】3月17日 周二 19:30——20:00【12 | 倒排索引介绍】3月18日 周三 19:30——20:00【13 | 通过Analyzer进行分词】3月19日 周四 19:30——20:00【14 | Search API概览】3月23日 周一 19:30——20:00【15 | URI Search详解】3月24日 周二 19:30——20:00【16 | Request Body与Query DSL简介】3月25日 周三 19:30——20:00【17 | Query String&Simple Query String查询】3月26日 周四 19:30——20:00【18 | Dynamic Mapping和常见字段类型】3月30日 周一 19:30——20:00【19 | 显式Mapping设置与常见参数介绍】3月31日 周二 19:30——20:00【20 | 多字段特性及Mapping中配置自定义Analyzer】4月01日 周三 19:30——20:00【21 | Index Template和Dynamic Template】4月02日 周四 19:30——20:00【22 | Elasticsearch聚合分析简介】4月06日 周一 19:30——20:00【23 | 课程总结】

本次分享主要介绍如何结合Apache SuperSet和EMR Spark，利用EMR Spark提供的JindoCube高级特性在SuperSet进行秒级响应，交互式的可视化数据探索。讲师介绍李呈祥，花名司麟，阿里云智能EMR团队高级技术专家，Apache Hive Committer， Apache Flink Committer，目前主要专注于EMR产品中开源计算引擎的优化工作。

开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题？大量数据处理技术与软件应运而生，形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向，并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍陈玉兆，Apache Calcite PMC,Apache Flink Contributor,阿里巴巴高级开发工程师更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场

开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题？大量数据处理技术与软件应运而生，形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向，并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍李锐，Apache Hive PMC,Apache Flink Contributor,阿里巴巴技术专家王刚，阿里巴巴高级开发工程师更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场

企业实践专场企业实践专场将邀请知名企业一线技术专家，分享大数据及人工智能最新技术进展和实践，详细解读Apache Flink在各行业的应用与落地，包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验，并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍刘力云，贝壳找房 资深工程师更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场

开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题？大量数据处理技术与软件应运而生，形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向，并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍杨巍威，Cloudera 资深软件工程师杨弢，阿里巴巴技术专家更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场

企业实践专场企业实践专场将邀请知名企业一线技术专家，分享大数据及人工智能最新技术进展和实践，详细解读Apache Flink在各行业的应用与落地，包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验，并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍董亭亭，快手实时计算引擎团队负责人徐明，快手大数据架构研发工程师更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场

Apache Flink核心技术专场数据的价值在于数据分析，而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向，并回归技术本质，打造Flink全方位技术盛宴。讲师介绍伍翀，阿里巴巴技术专家李劲松，阿里巴巴技术专家更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场

人工智能专场人工智能是未来十年最重要的技术革命与驱动力，在各行各业产生者日益重要的作用。人工智能专场将集中介绍Flink在机器学习上的新技术与新应用，为参会者呈现Flink机器学习的具体应用实践与最新技术落地案例。讲师介绍陈戊超，阿里巴巴技术专家高赟，阿里巴巴技术专家更多直播信息人工智能专场>>>基于Apache Flink的机器学习算法平台实践与开源 | 人工智能专场携程实时智能检测平台实践 | 人工智能专场Apache Flink AI生态系统工作 | 人工智能专场

人工智能专场人工智能是未来十年最重要的技术革命与驱动力，在各行各业产生者日益重要的作用。人工智能专场将集中介绍Flink在机器学习上的新技术与新应用，为参会者呈现Flink机器学习的具体应用实践与最新技术落地案例。讲师介绍潘国庆，携程大数据研发经理更多直播信息人工智能专场>>>基于Apache Flink的机器学习算法平台实践与开源 | 人工智能专场携程实时智能检测平台实践 | 人工智能专场Apache Flink AI生态系统工作 | 人工智能专场

人工智能专场人工智能是未来十年最重要的技术革命与驱动力，在各行各业产生者日益重要的作用。人工智能专场将集中介绍Flink在机器学习上的新技术与新应用，为参会者呈现Flink机器学习的具体应用实践与最新技术落地案例。讲师介绍杨旭，阿里巴巴资深算法专家更多直播信息人工智能专场>>>基于Apache Flink的机器学习算法平台实践与开源 | 人工智能专场携程实时智能检测平台实践 | 人工智能专场Apache Flink AI生态系统工作 | 人工智能专场

传统Lambda架构组件多运维复杂，如何使用一套存储和一套计算来实现流批架构充分享受技术红利？以Delta Lake为代表的新型数据湖方案越来越流行，传统的Lambda架构如何向数据湖架构进行扩展？以及结构化数据结合Delta Lake的最佳解决方案是什么。本次分享将会结合理论讲解和实际场景为您一一解答。讲师介绍王卓然， 花名琸然 阿里云存储服务技术专家

Python 代表机器学习生态，而以 Hadoop/Spark 为核心的开源大数据则以 Java 为主。前者拥有数不清的算法库和程序，后者承载着海量数据和大量的企业应用。除了 SQL 这个标准方式和各种五花八门的协议接口，还有没有更高效的一手数据通道，将两个生态对接起来，乃至深度融合？Pyboot 是我们在这个方向上的探索。有兴趣的同学欢迎现场观摩演示和技术交流。嘉宾介绍郑锴，花名铁杰，阿里巴巴高级技术专家，Apache Hadoop PMC，Apache Kerby 创立者。深耕分布式系统开发和开源大数据多年，目前专注于在阿里云上提供更好用更有弹性的 Hadoop/Spark 大数据平台；孙大鹏，花名诚历，阿里巴巴计算平台事业部 EMR 技术专家，Apache Sentry PMC，Apache Commons Committer，目前从事开源大数据存储和优化方面的工作；

以Kubernetes为代表的云原生技术越来越流行起来，spark是如何跑在Kubernetes之上来享受云原生技术的红利？Spark跑在Kubernetes之上和跑在Hadoop YARN上又有什么区别？以及Kubernetes 和YARN的差异点是什么。讲师介绍何剑，阿里巴巴高级技术专家，专注于Kubernetes容器云和大数据底层调度以及基础架构，负责阿里巴巴容器平台在线服务和离线计算任务混部。此前就职于Hortonworks, 是Hadoop 社区Committer和PMC成员

Ververica Platform-阿里巴巴全新Flink企业版揭秘-王峰

本次直播主要讲解日志文件如何通过Loghub/Datahub同步数据到MaxCompute的参数介绍和详细同步过程等内容。直播嘉宾刘建伟，阿里云智能 技术支持工程师

本次直播将介绍智能推荐AIRec产品冷启动、推荐配置、数据监测等重点feature和典型场景方案，帮您快速了解智能推荐产品。直播嘉宾闫勖勉(三秋) 阿里云智能事业群 高级解决方案工程师

MaxCompute SQL优化

MaxCompute异构数据源与非结构化数据处理

中金易云（浙江新华书店）基于MaxCompute构建图书行业数据中台。打通全国1000多家出版机构，20多个发行集团，5000多家零售门店的数据，以大数据思维方法论重构图书出版发行行业。MaxCompute统一的存储、计算引擎和数据开发平台，提供全局的数据资源视图。计算资源可根据项目需要动态调整，快速生效。同时提供多租户隔离机制，各部门可独立管理自身的数据，独立做数据权限管理。

大家好，我是你们的技术小伙伴小米！今天我们来聊聊如何在数据处理过程中保证顺序消费的问题。这个话题非常重要，尤其是在大数据处理和消息队列系统中，顺序消费是实现数据一致性和正确性的关键步骤。那么，如何才能有效地保证顺序消费呢？接下来，我将详细分享几种常见的方案和它们的优缺点。

实时数仓Hologres介绍

Havenask是阿里巴巴自主研发的大规模分布式搜索引擎，主要专注于智能搜索和海量数据实时检索，其核心能力广泛应用于阿里巴巴内部的众多业务，如淘宝、天猫商品搜索，盒马搜索，菜鸟物流订单实时检索等。并于2022年11月对外正式开源，具有灵活的定制和开发能力，支持算法快速迭代，帮助客户和开发者量身定做适合自身业务的智能搜索服务，助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们，为大家全面讲解Havenask的相关知识，通过课程可以了解到产品能力、架构原理、安装部署等内容，同时还有详细的操作演示，帮助大家更好了解和使用产品。 课程介绍： 此视频为Havenask进阶系列课程第3课《UDF定制》，视频中共包含以下3部分内容。 UDF介绍 UDF开发及配置讲解 实际操作演示 我们期望通过课程可以帮助您更好的使用Havenask，欢迎广大开发者加入项目开发，共建高质量的搜索引擎，共同推进国产化开源搜索引擎技术快速发展，普惠更多的开发者和企业。 此外，对于有使用需求的企业级开发者，我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch，欢迎企业级开发者们试用体验。 阿里云OpenSearch官网：https://www.aliyun.com/product/opensearch Havenask官网地址：https://havenask.net/ Github：https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群：

Havenask是阿里巴巴自主研发的大规模分布式搜索引擎，主要专注于智能搜索和海量数据实时检索，其核心能力广泛应用于阿里巴巴内部的众多业务，如淘宝、天猫商品搜索，盒马搜索，菜鸟物流订单实时检索等。并于2022年11月对外正式开源，具有灵活的定制和开发能力，支持算法快速迭代，帮助客户和开发者量身定做适合自身业务的智能搜索服务，助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们，为大家全面讲解Havenask的相关知识，通过课程可以了解到产品能力、架构原理、安装部署等内容，同时还有详细的操作演示，帮助大家更好了解和使用产品。 课程介绍：此视频为Havenask入门教程系列的第9节课《问题排查》，将对Havenask使用中4块内容进行讲解。 ● Hape运维脚本 ● 集群 ● 表创建 ● 数据写入与查询 我们期望通过课程可以帮助您更好的使用Havenask，欢迎广大开发者加入项目开发，共建高质量的搜索引擎，共同推进国产化开源搜索引擎技术快速发展，普惠更多的开发者和企业。 此外，对于有使用需求的企业级开发者，我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch，欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网：https://www.aliyun.com/product/opensearch 官网地址：https://havenask.net/ Github：https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群：

云原生专场邀请了阿里云智能、OPPO、货拉拉、益世界等技术专家分享 Flink 多云架构应用与实践。

云上自动化的四个层次； 自动化实践过程的关键点； 不同规模企业如何规划自动化； 自动化时间过程中的角色责任； 自动化实践过程中的工作流程。

同时查找100个Excel，阁下如何应对？1行Python搞定

批量识别发票，自动保存到Excel中

体制内有用！按Sheet拆分Excel，1行Python代码稿定

Elasticsearch Serverless 服务基于云原生Serverless技术开发，致力于为用户打造更低成本、弹性灵活、开放兼容、开箱即用的Elasticsearch使用体验。相比公测版，正式版Elasticsearch Serverless服务对原生Elasticsearch的读写API及生态组件有更高兼容性，帮助用户快速构建数据检索与分析应用，可灵活使用在多种应用场景中，例如网站搜索、企业信息检索、日志分析、运维监控等。立即开通：https://elasticsearch.console.aliyun.com/serverless/cn-hangzhou/introduce

Python入门-面向对象编程初识

Python入门-HelloWorld（开发环境搭建和基本数据类型）

学生们在为期5天的夏令营中，通过探索阿里云文化、实践云上场景，了解前沿科技、感受科技魅力、探究数字经济发展趋势、快速提升创新实践能力。了解更多夏令营信息请点击：https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso

6 月 11 日 ～ 12 日，龙蜥社区联合 Linux 中国，在北京召开的开放原子全球开放峰会现场组织 LUG 线下沙龙活动，与大家一同聊聊开源、聊聊 Linux 、聊聊社区当中的那些最新的技术。

点此免费试用 ->本实验基于Kibana Dashboard将航班信息可视化和其他相关数据可视化组合在一起，例如航班延误率较高时间段的机票平均价格等等。通过本实验，您将掌握Kibana Dashboard的使用方法，帮助您在仪表板上添加各种交互和过滤器，随时随地进行数据分析和操作，从而更加轻松地实现交互式数据可视化、深入挖掘数据价值。讲师简介刘晓国 - Elastic 首席布道师

Flink Forward 行业实践 “菜鸟供应链实时数仓最佳实践”张庭阿里巴巴菜鸟网络高级数据研发工程师

Flink Forward 平台建设 “货拉拉基于Flink计算引擎的应用与优化实践”王世涛货拉拉大数据实时研发平台负责人

为加强用户对AI Earth的理解，促进双方交流，提升AI Earth在地球科学领域的服务支撑能力，达摩院多位专家带来AI Earth地球科学云平台线上系列培训，干货满满，诚邀参与！

Flink Forward 实时湖仓“Flink Table Store 0.3 构建流式数仓最佳实践”李劲松 Flink PMC

Flink Forward 平台建设“阿里实时计算Flink自动调优实践”钟旭阳 阿里实时计算Flink自动调休实践

Flink Forward 平台建设“字节跳动Flink大规模云原生化实践”刘畅 字节跳动基础架构工程师