Flink Forward 平台建设 “小米基于Flink的实时数仓建设实践”

Flink Forward 平台建设 “小米基于Flink的实时数仓建设实践”周超小米软件开发工程师

541 0
来自: 实时计算 Flink  版块

Flink Forward 数据集成“Flink CDC 在京东的探索与实践”

Flink Forward 数据集成“Flink CDC 在京东的探索与实践”韩飞 京东资深技术专家

691 0
来自: 实时计算 Flink  版块

Flink Forward 平台建设“Hive SQL迁移到Flink SQL在快手的实践”

Flink Forward 平台建设“Hive SQL迁移到Flink SQL在快手的实践”刘大龙 阿里云工程师张芒 快手大数据架构工程师

724 0
来自: 实时计算 Flink  版块

洞悉 Spark 任务调度新能力|Apache Spark + DolphinScheduler Meetup

洞悉 Spark 任务调度新能力|Apache Spark + DolphinScheduler Meetup特邀 - 阿里云 EMR 数据开发平台团队负责人孙一凡、BIGO 大数据研发工程师许名勇、阿里云 EMR Spark 引擎负责人周克勇 ,通过他们的分享让用户能更快更好更便捷的使用 Apahce Spark + Apahce DolphinScheduler 。讲师/嘉宾简介孙一凡(Evans 忆梵) 阿里云 EMR 数据开发平台团队负责人周克勇(一锤) 阿里云 EMR Spark 引擎负责人许名勇 BIGO 大数据研发工程师

4229 2

Flink Forward 行业案例“Flink在蔚来自动驾驶AO部门的运用”

Flink Forward 行业案例“Flink在蔚来自动驾驶AO部门的运用”林志浩 蔚来资深数据开发工程师

1129 0
来自: 实时计算 Flink  版块

Flink Forward Asia 实时风控专场 “Flink CEP 新特性进展与在实时风控场景的落地”

Flink Forward Asia 实时风控专场 “Flink CEP 新特性进展与在实时风控场景的落地”耿飙 阿里云开发工程师胡俊涛 阿里云开发工程师

4402 0
来自: 实时计算 Flink  版块
|
数据采集 数据挖掘 程序员
|

一分钟学懂-大数据开发学要学什么

关注我,学习更多简单易懂的编程实战案例。进主页获取更多编程/就业/副业/创业/资源。

1066 0

阿里云数创先锋大数据实战营专场(第二场)

阿里云数创先锋大数据实战营专场(第二场)

771 47
来自: 大数据计算 MaxCompute  版块

《开源大数据热力报告 2022》解读

11 月 5 日,开放原子开源基金会、X-lab 开放实验室、阿里巴巴开源联合发布了《开源大数据热力报告 2022》。该报告收集了2015 年至 2022 年的相关公开数据进行关联分析,研究开源大数据进入“后 Hadoop 时代”的技术趋势,以及开源社区的运作模式对技术走向的助推作用。 本周四,我们将以直播的方式,就《开源大数据热力报告 2022》的结论进行延申,讨论应如何提高开源开发者活跃度,提升开源项目热力。讲师/嘉宾简介赵生宇(X-lab开放实验室核心成员、开源社成员、同济大学计算机在读博士生、OpenDigger开源项目发起人)燕青(Apache Kyuubi PPMC、Apache Spark Committer、Apache Submarine Committer、网易技术专家)、赵恒(StarRocks PMC、StarRocks产品负责人)徐榜江(雪尽)(Flink CDC Maintainer、Apache Flink Committer、阿里云技术专家)、徐昱(StarRocks Active Contributor,Apache Hudi Contributor,华米科技高级大数据工程师 )

739 0

Flink Forward Asia 2022 平台建设 11.27 下午

平台建设专场由来自爱奇艺、知乎、Dinky 社区、货拉拉、美团、联通、小米、StreamPark、阿里巴巴、蚂蚁集团的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。讲师/嘉宾简介王世涛|货拉拉大数据实时研发平台负责董剑辉|美团数据系统研发工程师张彬|美团数据系统研发工程师穆纯进|联通数科实时计算团队负责人,Apache StreamPark Contributor周超|小米软件开发工程师王华杰|Apache StreamPark PPMC, 社区发起人

3679 2
来自: 实时计算 Flink  版块

Flink Forward Asia 2022 流批一体 11.27上午

流批一体专场由来自快手、京东、数禾、Shopee、蚂蚁集团等企业的技术专家为你呈现流批一体的大规模应用实践案例,详细拆解落地难点和应对方案。另有来自阿里巴巴的技术专家手把手教你如何基于 Hive SQL on Flink 构建流批一体引擎。讲师/嘉宾简介祝海峰|阿里巴巴高级技术专家孙金城|字节跳动火山引擎LAS计算方向负责人,Apache Flink PMC,Apache IoTDB PMC,Apache Shenyu PMC,ASF Member罗宇侠|阿里云 开发工程师方盛凯|阿里云 开发工程师李明昆|Shopee 高级研发工程师,Flink Remote Shuffle Contributor

3734 1
来自: 实时计算 Flink  版块

阿里云云原生一体化数仓 — 数据治理新能力解读

本场公开课会介绍大数据开发治理平台DataWorks在数据治理领域的最新产品进展,包括基于事前、事中、事后的全链路理念构建的核心产品功能和数据治理量化评估机制解读,以及围绕降本增效的成本治理最佳实践。讲师/嘉宾简介唐晨 阿里云智能 产品专家

983 3
来自: 大数据计算 MaxCompute  版块

阿里云云原生一体化数仓 — 离线实时一体化新能力解读

介绍MaxCompute+Hologres离线和实时数仓一体化优于之前有离线、有在线、有很多不同的引擎的实现方案,通过用实时的引擎做预处理,实现离线实时数据入仓后做更加实时的服务化BI分析实践。讲师/嘉宾简介隆志强 阿里云智能 高级产品专家

1151 1
来自: 大数据计算 MaxCompute  版块

年度回顾-阿里云Elasticsearch在泛日志场景的核心能力建设

随着国内传统企业的数字化转型,非结构化数据的规模和占比增长迅速,其中日志数据获取和加工能力也越来越受到关注。本次由阿里云Elasticsearch团队负责人,给大家聊一聊阿里云Elasticsearch围绕泛日志场景在产品和内核层面做了哪些努力,又为开发者社区提供了哪些回馈。讲师/嘉宾简介邓万禧 阿里巴巴资深技术专家阿里巴巴智能引擎事业部云服务,搜索与分析团队负责人

1274 0

Delta Lake的演进历程和现状优势【Databricks 数据洞察公开课】

Delta Lake作为一个开源项目的演进路径和现状优势,以及怎样帮助在现有存储系统上构建Lakehouse架构。产品技术咨询https://survey.aliyun.com/apps/zhiliao/VArMPrZOR加入技术交流群下期预告《深度解析数据湖存储方案Lakehouse架构》讲师/嘉宾简介筱龙阿里云开源大数据平台技术专家

663 0

Flink Forward Asia 2021 平台建设 2

平台建设专场由来自字节跳动、腾讯新闻、网易、小红书、京东、滴滴、bilibili、汽车之家、移动、联通、BIGO、蚂蚁金服、翼支付的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。讲师/嘉宾简介1.《B 站基于 Flink 的多元化探索与实践》张杨 - 哔哩哔哩基础架构部 资深研发工程师2.《汽车之家基于 Flink 的实时计算平台 3.0 建设实践》邸星星 - 汽车之家实时计算平台负责人3.《腾讯新闻基于 Flink + PipeLine 模式的应用与实践》罗强 - 腾讯新闻商业化数据工程师4.《Native Flink on K8S 在小红书的实践》何军 - 小红书数据流团队资深研发工程师

4684 0
来自: 实时计算 Flink  版块

Flink Forward Asia 2021 行业实践 3

行业实践专场由字节跳动、网易、蔚来、中原银行、建信金融科技、中信建投等多行业实时计算领域专家详细解读 Flink 在业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介1.《Apache Flink 在斗鱼的应用与实践》夏畅 - 斗鱼实时计算负责人2.《作业帮基于 Flink 的实时计算平台实践》张迎 - 作业帮实时计算负责人3.《Flink 在易车落地应用与实践》王林红 - 易车数据平台负责人4.《如何设计信息安全领域的实时安全基线引擎》覃永靖 - 奇安信集团技术委员会委员、高级技术专家、NGSOC 事业部安全引擎团队架构师5.《特来电云平台智能运维应用实践》刘桂海 - 特来电平台智能保障团队技术负责人

3889 0
来自: 实时计算 Flink  版块

Flink Forward Asia 2021 行业实践 2

行业实践专场由字节跳动、网易、蔚来、中原银行、建信金融科技、中信建投等多行业实时计算领域专家详细解读 Flink 在业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介1.《Flink 在能源建设的实践》姚远 - 中南电力设计院工程师、注册测绘师2.《Apache Flink 在蔚来汽车的应用》吴江 - 蔚来汽车大数据部门数据开发,OLAP 平台 tech lead3.《Flink 在字节跳动数据流的实践》刘石伟 - 字节跳动数据平台数据流技术负责人4.《网易游戏基于 Flink 的支付环境全关联分析实践》林佳 - 网易互娱技术中心计费实时平台与 SDK 技术负责人,Apache Flink Contributor

4897 0
来自: 实时计算 Flink  版块

Flink Forward Asia 2021 行业实践 1

行业实践专场由字节跳动、网易、蔚来、中原银行、建信金融科技、中信建投等多行业实时计算领域专家详细解读 Flink 在业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授。讲师/嘉宾简介1.《中原银行实时风控体系建设实践》陈玉强 - 中原银行数据平台中心开发工程师2.《Flink 在国有大型银行智能运营场景下的应用》周耀 - 建信金融科技开发工程师,Apache Superset Contributor,Apache Kylin Contributor3.《Flink 流处理在中信建投证券的实践与应用》刘成龙 - 中信建投证券金融实时数仓项目负责人,大数据研发工程师蔡跃 - 中信建投证券金融资讯数据研发工程师4.《Flink 在众安保险金融业务的应用》郭育波 - 众安保险大数据平台开发高级专家

9687 0
来自: 实时计算 Flink  版块

Flink Forward Asia 2021 核心技术 1

核心技术专场,由 Apache Flink 核心贡献者与来自阿里巴巴、字节跳动、快手、美团等一线技术专家解析 Flink 技术动向与应用实践。讲师/嘉宾简介1.《Flink SQL 在快手的落地和扩展》张静 - 快手实时计算团队技术专家,Apache Flink Committer张芒 - 快手实时计算团队技术专家2.《Flink State-Backend Improvements and Evolution in 2021》李钰 - 阿里巴巴资深技术专家,ASF Member,Apache Flink & HBase PMC唐云 - 阿里巴巴技术专家,Apache Flink committer3.《Powering HTAP at ByteDance with Apache Flink》刘洋 - 字节跳动基础架构工程师,Apache Flink Contributor邹丹 - 字节跳动基础架构工程师,Apache Flink Contributor4.《深入解析 Flink 细粒度资源管理》郭旸泽 - 阿里巴巴高级开发工程师,Apache Flink Committer5.《Flink Join 算子优化》孙梦瑶 - 美团资深开发工程师

68511 2
来自: 实时计算 Flink  版块

一站式推荐应用与开发实战介绍

如何在1周内搭建一个个性化推荐服务,而且在短时间内迭代效果并取得提升,介绍如何通过平台开发的方式快速上手复杂的推荐场景开发业务。讲师简介讲师:王亚宁花名:栀露头衔:阿里巴巴集团产品专家

2450 2
来自: 智能搜索推荐  版块

SaaS模式云数据仓库 MaxCompute 应用场景实践——基于MaxCompute分布式Python能力的大规模数据科学分析

如何利用云上分布式 Python 加速数据科学。如果你熟悉 numpy、pandas 或者 sklearn 这样的数据科学技术栈,同时又受限于平台的计算性能无法处理,本次直播介绍的 MaxCompute 可以让您利用并行和分布式技术来加速数据科学。也就是说只要会用 numpy、pandas 和 scikit-learn 之一,就会用 MaxCompute 分布式 Python 的能力。讲师简介孟硕 阿里云智能 产品专家

1741 1
来自: 大数据计算 MaxCompute  版块

Hologres系列课程(一)30分钟学会快速使用Hologres

主要介绍如何快速使用Hologres,从开通实例到连接开发工具以及简单开发操作,能对Hologres的表结构、索引设计有初步认识,了解Hologres开发基本知识体系。讲师介绍余骏(清芬)阿里巴巴技术专家多年分布式系统经历对系统调优有丰富的经验

5396 2
来自: 实时数仓 Hologres  版块

第三节课:EMR 的存储解决方案

本节主要介绍EMR针对云上大数据的存储解决方案,如何为计算提供灵活高效的存储基础讲师:姚舜扬,花名辰山,阿里巴巴计算平台事业部 EMR 高级开发工程师,目前从事大数据存储方面的开发和优化工作

1189 0

利用持久内存提速Spark

主要探讨如何在Spark上使用持久内存这一新技术来进一步提速性能。具体会介绍基于Plasma的共享内存方案来提速SQL数据源访问的性能以及利用持久内存扩展Spark现有内存磁盘存储层级来提速RDD cache在迭代式计算中的效果。讲师介绍:纪琨尚,英特尔亚太研发有限公司大数据部门的软件工程师,专注于Spark计算框架上基于Optane PMEM的优化叶宇强,英特尔亚太研发有限公司大数据部门的资深软件工程师,专注于Spark计算框架上基于Optane PMEM的优化

1573 0
|
机器学习/深度学习
|

藏经阁电子书发布会第十期:AI是灵药还是猛兽?

时间:2020年9月2日 19:00-20:00讲师简介:黄博远,阿里云机器学习平台PAI产品负责人。十二年大数据与AI领域技术经验,十年技术管理经验,先后供职于微软、阿里巴巴集团,从是展示广告、搜索广告、电商广告、搜索、云计算等相关领域的技术工作。现任阿里云智能飞天AI平台(PAI)产品负责人、一站式大数据智能研发与治理平台DataWorks产品负责人。主题简介:AI是什么?AI赋予了很多商业业务宝贵的价值,我们日常用的搜索引擎就是应用AI的最大受益者;在电商领域,AI可以做推荐;在金融领域,AI可以做风控等等。对于很多新人来说,AI到底是什么?它似乎涵盖许多很高深的技术,学习AI需要学很多东西,想要抓住AI的风口,学AI甚至想玩转AI,有机会吗?阿里云机器学习平台技术专家给的答案是肯定的。首先,AI(人工智能)是什么呢?AI的本源是一门研究如何用机器来模拟人的智能的技术,让有以下能力:听——语音识别方面看——文字识别、图像识别等方面说——语音合成、人机对话等方面思考——推导数学公式、人机对弈等方面学习以及行动——自动驾驶等整个人工智能技术基本上围绕这些领域展开和迭代。其次,人人都能玩转AI吗?答案也是肯定的。学习AI需要解决算力、算法和数据的问题,加上真实场景来磨练。互联网尤其是移动互联网和换联网的迅猛发展辅助解决海量高质数据的问题;云计算和异构计算的发展辅助解决计算力的问题。而科技发展让整个生产率不断提高的同时不断地降低学习或使用技术的门槛。如同50多年以前,开车是一项非常重要或特殊的技能,司机备受大众敬仰,而今还会有很多人认为会开车的身份很特殊吗?可能不会了,反而是不会开车的人会让人觉得其身份特殊。AI其实也一样,它背后没有什么特别神秘的技术,技术的发展也使其使用和学习门槛在不断地降低。想深入了解AI源于何方、能够解决的典型问题?探讨AI是否能够替代或控制人类的话题?想知道如何像开车、用电脑、用智能手机一样掌握AI的技术?阿里云机器学习平台大神来给你降维讲解,带你了解AI历史,体验AI能力,并为你带来了《阿里云机器学习PAI-DSW入门指南》电子书的发布,带你进入人人都能玩儿AI的时代。教你如何轻松上手并告别纸上谈兵!

4815 57
来自: 人工智能平台PAI  版块

OAP Spark 优化介绍: 通过索引和缓存优化交互式查询性能

讲师介绍:陈海锋,英特尔亚太研发有限公司大数据部门的高级软件架构师,开发经理,主要研究和关注基于Hadoop和Spark的大数据框架的分析和优化,Apache社区的长期贡献者。沈祥翔,英特尔亚太研发有限公司大数据部门的高级软件工程师,主要担任OAP项目的开发。分享介绍:简单介绍OAP的总体蓝图。同时详细介绍其中的一个具体优化,使用索引和缓存来解决交互式查询性能挑战。英特尔和社区合作,为Spark SQL实现了索引和数据源缓存,通过为关键查询列创建并存储完整的B +树索引,并使用智能的细粒度数据缓存策略,我们可以极大的提升基于Spark SQL的交互式查询的性能。

1774 0

云数据仓库+Serverless — 持续定义SaaS模式云数据仓库

本次直播将为您介绍现代云数据仓库的业务场景与资源使用需求,不同资源交付模式的差异化分析。并结合MaxCompute Serverless的特点及价值来讲解使用MaxCompute Serverless的最佳实践。分享人:曲宁 阿里云智能 产品专家

2815 2
来自: 大数据计算 MaxCompute  版块

EMR Spark-SQL性能极致优化揭秘 Native Codegen Framework

EMR团队探索并开发了SparkSQL Native Codegen框架,为SparkSQL换了引擎,新引擎带来最高4倍性能提升,为EMR再次获取世界第一立下汗马功劳,本次直播将详细介绍Native Codegen框架。讲师简介:周克勇,花名一锤,阿里巴巴计算平台事业部EMR团队技术专家,大数据领域技术爱好者,对Spark有浓厚兴趣和一定的了解,目前主要专注于EMR产品中开源计算引擎的优化工作。参考文章:EMR Spark-SQL性能极致优化揭秘 Native Codegen Frameworkhttps://developer.aliyun.com/article/765156?spm=a2c6h.12873581.0.dArticle765156.5f6f47b4Mj7VpM&groupCode=aliyunemr

2214 0

PB级数据量背后,阿里云Elasticsearch的内核优化实践

阿里云Elasticsearch兼容开源Elasticsearch的功能,以及Security、Machine Learning、Graph、APM等商业功能,致力于全文搜索、日志分析、运维监控、安全分析等场景服务。在开源Elasticsearch的基础上提供了企业级权限管控、安全监控告警、自动报表生成等功能,并具备高可用性、高可靠性、高安全性等功能特性。本次分享主要介绍阿里云Elasticsearch在支撑PB级以上数据量的背后所做的内核优化实践,与Elasticsearch爱好者们共同探讨交流,推动技术发展。讲师:慕少琼(广富)阿里巴巴Elasticsearch云服务平台高级开发工程师,Elastic认证工程师,有丰富的Elasticsearch使用、运维和内核优化经验。直播期间,点击链接参与调研,将随机抽取20个名额,赠送ES技术大牛阮一鸣老师全套Elasticsearch 课程(价值129元)戳我了解详情

1386 0

智能推荐系列公开课——智能推荐AIRec功能使用指南

在信息过载、碎片化的时代,个性化推荐成为提升用户浏览/转化率的核心手段之一。而在实际应用中,怎样满足本行业的信息分发需求,精准匹配海量用户偏好,提高运营效率,仍是一个待解之题。此次,阿里巴巴搜索推荐产品团队带来系列公开课,聊聊怎样结合实际场景,嵌入智能推荐,搭建“千人千面”的分发体系,使产品价值最大化。每期20分钟,修炼推荐硬功夫。了解全部课程课程目录第一期推荐场景化构建与业务价值第二期智能推荐在电商的经典打法与实践第三期智能推荐电商行业2.0发布,算法模板再升级第四期7天搭建电商个性化推荐场景和最佳实践第五期0-1激活推荐系统,解锁冷启动难题第六期智能推荐内容行业2.0发布第七期详解内容行业典型案例,直击标题党和推荐时效性第八期智能推荐新闻行业2.0升级与最佳实践第九期智能推荐AIRec功能使用指南第十期课程总结与交流问答

5336 0
来自: 智能搜索推荐  版块

JindoFS Fuse 支持

本次直播主要介绍如何利用FUSE的POSIX文件系统接口,像本地磁盘一样轻松使用大数据存储系统, 为云上AI场景提供了高效的数据访问手段。讲师介绍苏昆辉,花名抚月,阿里巴巴计算平台事业部 EMR 高级工程师, Apache HDFS committer. 目前从事开源大数据存储和优化方面的工作。

1513 0

Flink Forward 全球在线会议中文精华版0426

【收藏+下载】Flink年度学习资料大礼包!问题收集页面:https://shimo.im/sheets/twgyxGh9hqy6DHYk/MODOC/相关会议:Flink Forward 全球在线会议中文精华版0425Flink Forward 全球在线会议中文精华版0426Flink Forward · 全球首个在线会议中文精华版普惠全球开发者!这一次,格外与众不同。Apache 顶级项目盛会 Flink Forward 在线会议集结欧洲、北美洲、亚洲众多国际大厂资深技术专家跨时区免费在线分享。中文精华版将由 Apache Member 、Flink PMC 及社区投票共同筛选大会精彩 talk,翻译并进行中文解说,让你足不出户尽享优质内容。讲师信息滕昱|戴尔科技集团软件开发总监王峰(莫问)| 阿里云计算平台事业部实时计算与开放平台部门负责人,资深技术专家个人简介:目前带领团队基于Flink、Hadoop以及Kubernetes开源技术体系打造的大数据实时计算平台,不仅服务于阿里集团(淘宝、天猫、聚划算、高德、优酷、飞猪和菜鸟等)所有实时数据业务,同时也通过阿里云为广大中小企业提供全球领先的实时计算产品服务。杨旭(品数)|阿里巴巴云机器学习平台PAI中基础机器学习算法的负责人,资深算法专家个人信息:2004年获南开大学数学博士学位;随后在南开大学信息学院从事博士后研究工作;2006年加入微软亚洲研究院,进行符号计算、大规模矩阵计算及机器学习算法研究;2010年加入阿里巴巴,从事大数据相关的统计和机器学习算法研发。出版《重构大数据统计》,《机器学习在线:解析阿里云机器学习平台》等著作。薛康 | 滴滴技术专家,实时计算负责人。毕业于浙江大学,曾任百度高级研发工程师,对大数据生态建设有丰富经验。于茜 | 微博高级算法工程师个人信息:多年来一直在使用Flink构建实时数据处理和在线机器学习框架。此外,在社交媒体应用推荐系统方面经验丰富,有助于将最佳内容与微博用户匹配。于翔|微博机器学习研发中心-算法架构工程师。个人信息:现负责微博机器学习平台算法系统模块。主要涉及机器学习,深度学习,模型训练,大规模参数服务,模型服务等。目前专注于大规模稀疏在线学习在微博业务场景的应用曹富强|微博机器学习研发中心-系统工程师个人信息:现负责微博机器学习平台数据计算模块,主要涉及实时计算Flink、Storm、SparkStreaming,离线计算Hive、Spark等。目前专注于Flink在微博机器学习场景的应用。章剑锋(简锋)| Apache Software Foundation Member.PMC of Apache Tez, Livy, Zeppelin.Committer of Apache Pig,阿里巴巴 高级技术专家个人信息:开源界老兵,曾就职于Hortonworks,目前在阿里巴巴计算平台事业部任高级技术专家。并同时担任Apache Tez、Livy 、Zeppelin三个开源项目的PMC,以及Apache Pig的Committer。有幸很早就接触了大数据和开源,希望可以在开源领域为大数据和数据科学做点贡献。秦江杰(江杰)| Apache Kafka PMC,Apache Flink Committer,阿里巴巴高级技术专家个人信息:本科毕业于上海交大,硕士毕业于卡耐基梅陇大学,加入阿里巴巴前曾在 IBM,LinkedIn 任职。目前是 Apache Kafka PMC 和 Apache Flink Committer。杨克特(鲁尼)| Apache Member,Apache Flink PMC ,阿里巴巴高级技术专家个人信息:2011年硕士毕业于浙江大学后加入阿里巴巴,先后从事过搜索引擎,调度系统,大数据处理等核心系统的设计与研发,目前负责实时计算 Flink的SQL引擎。孙金城(金竹)| Apache Member,Apache Flink PMC,阿里巴巴高级技术专家个人信息:自2015-以来一直专注于大数据计算领域,并持续贡献于Apache Flink 社区。2011年加入阿里巴巴集团,目前就职于阿里巴巴计算平台事业部。2015年开始投入阿里新一代实时计算平台Blink的研发工作。早期负责搜索事业部的离线大数据处理,以及将搜索离线数据处理的计算迁移到Blink计算平台之上,之后进行Blink计算平台的查询和优化工作。于2019年负责Apache Flink Python API的整体架构开发工作。李钰(绝顶)| HBase PMC,Apache Flink Committer,阿里巴巴实时计算部高级技术专家伍翀(云邪)| Apache Flink PMC&Committer,阿里巴巴技术专家个人信息:北京理工大学硕士毕业,2015 -加入阿里巴巴,参与阿里巴巴实时计算引擎 JStorm 的开发与设计。2016 年开始从事阿里新一代实时计算引擎 Blink SQL 的开发与优化,并活跃于 Flink 社区,于2017年初成为Apache Flink Committer,Flink/Blink SQL 模块的核心开发之一。目前主要专注于分布式处理和实时计算,热爱开源,热爱分享。问题收集页面:https://shimo.im/sheets/twgyxGh9hqy6DHYk/MODOC/

13638 0
来自: 实时计算 Flink  版块

【Elasticsearch入门公开课 】22 | Elasticsearch聚合分析简介

Elasticsearch 是一款非常强大的开源搜索及分析引擎,在 Search Engine 分类中长期位列第一。而Elasticsearch 除了搜索以外,结合生态 Kibana、Logstash和Beats,Elasticsearch还被广泛运用在大数据近实时分析场景中,包括日志分析、运维监控、信息安全等多个领域。本次入门课程主要帮大家从概念入手,并穿插底层技术讲解及教学实操,让您更深入的了解并如何运用Elasticsearch。为了让更多用户能够跟着教程边学边做,阿里云开发者社区为大家准备了阿里云Elasticsearch 3节点1核2G,1个月的免费实验环境。本节课主要为您讲解产品特征及发展历史公司愿景与商业模式【新用户开通】阿里云Elasticsearch 3节点1核2G免费1个月开通条件:新注册用户付费模式:包年包月服务选择:商业通用版,3节点1核2G版本【讲师简介】阮一鸣,eBay Pronto 平台技术负责人。极客时间《Elasticsearch 核心技术与实战》课程讲师Pronto平台目前管理了eBay 内部上百个Elasticsearch 集群,包括4000多个数据节点。这些集群目前被广泛使用在 eBay 的生产环境中。涵盖了网站搜索,商品推荐,日志管理,风险控制,IT运维,安全监控等多个领域钉钉扫码加入ES交流群,获取课程资料【课程收益】1、从概念到实操,轻松入门2、灵活运用ELK进行搜索与大数据分析3、阿里云开发者社区免费提供云ES(3节点1核2G )1个月免费实战环境课程目录3月03日 周二 19:30——20:30【01 | 课程介绍Elasticsearch核心技术与实战】3月03日 周二 19:45——20:00【02 | 内容综述及学习建议】3月03日 周二 20:00——20:15【03 | Elasticsearch简介及其发展历史】3月03日 周二 20:15——20:30【04 | Elastic Stack家族成员及其应用场景】3月04 周三 19:30——20:00【05 | Elasticsearch的安装与简单配置】3月05日 周四 19:30——20:00【06 | Kibanan的安装与界面快速浏览】3月09日 周一 19:30——20:00【07 | 在Docker容器中运行Elasticsearch Kibana和 Cerebro】3月10日 周二 19:30——20:00【08 | Logstash安装与导入数据】3月11日 周三 19:30——20:00【09 | 基本概念:索引、文档和REST API】3月12日 周四 19:30——20:00【10 | 基本概念:节点、集群、分片及副本】3月16日 周一 19:30——20:00【11 | 文档的基本CRUD与批量操作】3月17日 周二 19:30——20:00【12 | 倒排索引介绍】3月18日 周三 19:30——20:00【13 | 通过Analyzer进行分词】3月19日 周四 19:30——20:00【14 | Search API概览】3月23日 周一 19:30——20:00【15 | URI Search详解】3月24日 周二 19:30——20:00【16 | Request Body与Query DSL简介】3月25日 周三 19:30——20:00【17 | Query String&Simple Query String查询】3月26日 周四 19:30——20:00【18 | Dynamic Mapping和常见字段类型】3月30日 周一 19:30——20:00【19 | 显式Mapping设置与常见参数介绍】3月31日 周二 19:30——20:00【20 | 多字段特性及Mapping中配置自定义Analyzer】4月01日 周三 19:30——20:00【21 | Index Template和Dynamic Template】4月02日 周四 19:30——20:00【22 | Elasticsearch聚合分析简介】4月06日 周一 19:30——20:00【23 | 课程总结】

3308 1

YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场

开源大数据生态专场”数据爆炸“时代下如何进行有效地大规模数据处理问题?大量数据处理技术与软件应运而生,形成当前百花齐放的开源大数据生态。本专场将围绕大数据开源生态、技术生态、商业生态探讨当下开源大数据的发展趋势与未来动向,并展现大数据相关技术在一线生产场景的优秀实践。讲师介绍杨巍威,Cloudera 资深软件工程师杨弢,阿里巴巴技术专家更多直播信息开源大数据生态专场专场>>>YuniKorn 对Flink on K8s 的调度优化 | 开源大数据生态专场流处理基准测试 | 开源大数据生态专场Apache Flink and the Apache Way | 开源大数据生态专场Delivering stream data reliably with Pravega | 开源大数据生态专场Deep dive into Pyflink & integration with Zeppelin | 开源大数据生态专场Apache Flink 与 Apache Hive 的集成 | 开源大数据生态专场趣头条基于 Apache Flink+ClickHouse 构建实时数据分析平台 | 开源大数据生态专场基于 Apache Pulsar 和 Apache Flink 进行批流一体的弹性数据处理 | 开源大数据生态专场The integretion of Apache Flink SQL and Apache Calcite | 开源大数据生态专场

2373 0
来自: 实时计算 Flink  版块

美团点评基于Apache Flink 的实时数仓平台实践 | 实时数仓专场

实时数仓专场数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战。实时数仓专场将聚焦Flink实时数仓在数据链路中扮演的角色与在智能商业中的重要价值,由一线大厂大数据专家分享实时数仓的应用实践及平台智能化的探索与思考。讲师介绍鲁昊,美团点评高级技术专家更多直播信息实时数仓专场>>>美团点评基于Apache Flink 的实时数仓平台实践 | 实时数仓专场小米流式平台架构演进与实践 | 实时数仓专场Netflix:Evolving Keystone to an Open Collaborative Real-time ETL Platform | 实时数仓专场菜鸟供应链实时数据技术架构的演进 | 实时数仓专场OPPO基于Apache Flink 的实时数仓实践 | 实时数仓专场

2472 0
来自: 实时计算 Flink  版块

Apache Flink在快手实时多维分析场景的应用 | 企业实践专场

企业实践专场企业实践专场将邀请知名企业一线技术专家,分享大数据及人工智能最新技术进展和实践,详细解读Apache Flink在各行业的应用与落地,包括应用场景、业务痛点、面临挑战、如何破局等宝贵经验,并就大数据与人工智能等技术的发展趋势进行探讨和展望。讲师介绍董亭亭,快手实时计算引擎团队负责人徐明,快手大数据架构研发工程师更多直播信息企业实践专场>>>Apache Flink 在字节跳动的实践与优化 | 企业实践专场Apache Flink在快手实时多维分析场景的应用 | 企业实践专场bilibili 实时平台的架构与实践 | 企业实践专场Apache Flink在滴滴的应用与实践 | 企业实践专场Apache Flink 在网易的实践 | 企业实践专场Apache Flink在中国农业银行的探索和实践 | 企业实践专场基于Apache Flink的爱奇艺实时计算平台建设实践 | 企业实践专场实时计算在贝壳的实践 | 企业实践专场基于Flink构建CEP引擎的挑战和实践 | 企业实践专场

2148 0
来自: 实时计算 Flink  版块

(第二部分)从Python 到Java ,Pyboot加速大数据和AI的融合

Python 代表机器学习生态,而以 Hadoop/Spark 为核心的开源大数据则以 Java 为主。前者拥有数不清的算法库和程序,后者承载着海量数据和大量的企业应用。除了 SQL 这个标准方式和各种五花八门的协议接口,还有没有更高效的一手数据通道,将两个生态对接起来,乃至深度融合?Pyboot 是我们在这个方向上的探索。有兴趣的同学欢迎现场观摩演示和技术交流。嘉宾介绍郑锴,花名铁杰,阿里巴巴高级技术专家,Apache Hadoop PMC,Apache Kerby 创立者。深耕分布式系统开发和开源大数据多年,目前专注于在阿里云上提供更好用更有弹性的 Hadoop/Spark 大数据平台;孙大鹏,花名诚历,阿里巴巴计算平台事业部 EMR 技术专家,Apache Sentry PMC,Apache Commons Committer,目前从事开源大数据存储和优化方面的工作;

1824 1

云上大数据的存储方案设计和选择

上云拐点已来,开源大数据上云是业界共识。如何满足在云上低成本存储海量数据的同时又实现高效率弹性计算的潜在需求?放眼业界,都有哪些成熟存储方案和选择?各自适用的存储和计算场景是什么?背后的技术关键和考虑因素都有哪些?欢迎大数据技术爱好者面对面交流和探讨!嘉宾介绍姚舜扬,花名辰山,阿里巴巴计算平台事业部 EMR 高级开发工程师,目前从事大数据存储方面的开发和优化工作;苏昆辉,花名抚月,阿里巴巴计算平台事业部 EMR 高级工程师, 曾就职于华为、网易. Apache HDFS committer. 对Hadoop、HBase等有深入研究, 对分布式存储、高性能优化有丰富经验. 目前从事大数据云化相关工作.

1957 46

基于 Spark 打造高效云原生数据分析引擎

由阿里巴巴 EMR 团队提交的 TPC-DS 成绩在九月份的榜单中取得了排名第一的成绩。这个成绩背后离不开 EMR 团队对 Spark 执行引擎持续不断的优化。本次分享将选取一些有代表性的优化点,深入到技术细节做详细介绍,包括但不限于动态过滤、CBO增强、TopK排序等等。嘉宾介绍辛庸,阿里巴巴计算平台事业部 EMR 技术专家。Apache Hadoop,Apache Spark contributor。对 Hadoop、Spark、Hive、Druid 等大数据组件有深入研究。目前从事大数据云化相关工作,专注于计算引擎、存储结构、数据库事务等内容。

1878 0

混合云模式下MaxCompute +Hadoop混搭大数据架构实践 | 大数据企业级服务专场

混合云模式下MaxCompute +Hadoop混搭大数据架构实践-斗鱼张龙_大数据企业级服务专场嘉宾介绍张龙

1438 0
来自: 大数据计算 MaxCompute  版块

大数据 & AI 发展的新挑战和新机遇-贾扬清

大数据 & AI 发展的新挑战和新机遇-贾扬清

2708 0
来自: 大数据计算 MaxCompute  版块
|
监控 大数据 MaxCompute
|

日志数据如何同步到MaxCompute | 2019大数据技术公开课第五季

本次直播主要讲解日志文件如何通过Loghub/Datahub同步数据到MaxCompute的参数介绍和详细同步过程等内容。直播嘉宾刘建伟,阿里云智能 技术支持工程师

1663 0
|
MaxCompute 大数据
|

阿里巴巴大数据产品最新特性介绍—DataWorks |2019大数据技术公开课第三季

本次直播将为您做DataWorks增值版本的高级feature及场景化介绍,帮您更好的了解和使用DataWorks增值版本。 <br/> 直播嘉宾:刘天鸢 阿里云智能事业群 高级产品经理

2780 0
来自: 大数据计算 MaxCompute  版块
|
大数据 MaxCompute
|

帮助企业做好MaxCompute成本优化的实践

帮助企业做好MaxCompute成本优化的实践

1093 0
来自: 大数据计算 MaxCompute  版块

2024FFA分论坛-数据集成1

FFA2024数据集成专场由Apache Flink核心贡献者与来自阿里云智能、杭州银行、光大银行、货拉拉、数新智能、镜舟科技等公司的一线技术专家聚焦于实时技术在数据集成场景的价值与发展,讨论实时技术如何提升数据处理的全链路时效性,分析如何基于 Flink 设计实时数据集成框架,以及实时数据集成技术在不同业务领域的最佳实践。

394 0
来自: 实时计算 Flink  版块

2024FFA分论坛-云原生

FFA2024云原生专场由Apache Flink核心贡献者与来自阿里云、网易游戏、小红书、美团、哔哩哔哩等公司的一线技术专家带来,聚焦Flink与云原生技术的结合,探讨如何在云原生环境中高效部署和深度优化Flink流批任务。通过实战经验分享,帮助开发者利用容器化、K8s、Serverless等工具,在稳定、性能、成本之间取得平衡。

727 0
来自: 实时计算 Flink  版块

2024FFA分论坛-行业解决方案2

FFA2024行业解决方案专场由Apache Flink核心贡献者与来自中国联通、阿里云、腾讯、中国电信、微财、谙流科技、平凯星辰、飞轮科技等公司的一线技术专家带来分享,探讨Apache Flink在关键行业场景中落地的实时数据驱动决策和分析的方案,通过这些案例,一起解析技术挑战,分享业务成果,促进实时数据处理技术的创新与发展。

421 0
来自: 实时计算 Flink  版块

2024FFA分论坛-生产实践1

FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来,将聚焦于在生产中使用和部署Flink的痛点和经验以及最佳实践, 共同探讨如何在真实环境中更高效,安全,敏捷地落地实时数据处理框架。

821 0
来自: 实时计算 Flink  版块

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

2
今日
69778
内容
128
活动
440043
关注
你好!
登录掌握更多精彩内容

活跃用户

相关产品

  • 大数据开发治理平台 DataWorks
  • 日志服务
  • 检索分析服务 Elasticsearch版