基于 Spark 打造高效云原生数据分析引擎

由阿里巴巴 EMR 团队提交的 TPC-DS 成绩在九月份的榜单中取得了排名第一的成绩。这个成绩背后离不开 EMR 团队对 Spark 执行引擎持续不断的优化。本次分享将选取一些有代表性的优化点,深入到技术细节做详细介绍,包括但不限于动态过滤、CBO增强、TopK排序等等。嘉宾介绍辛庸,阿里巴巴计算平台事业部 EMR 技术专家。Apache Hadoop,Apache Spark contributor。对 Hadoop、Spark、Hive、Druid 等大数据组件有深入研究。目前从事大数据云化相关工作,专注于计算引擎、存储结构、数据库事务等内容。

1878 0

混合云模式下MaxCompute +Hadoop混搭大数据架构实践 | 大数据企业级服务专场

混合云模式下MaxCompute +Hadoop混搭大数据架构实践-斗鱼张龙_大数据企业级服务专场嘉宾介绍张龙

1438 0
来自: 大数据计算 MaxCompute  版块
|
监控 大数据 MaxCompute
|

日志数据如何同步到MaxCompute | 2019大数据技术公开课第五季

本次直播主要讲解日志文件如何通过Loghub/Datahub同步数据到MaxCompute的参数介绍和详细同步过程等内容。直播嘉宾刘建伟,阿里云智能 技术支持工程师

1663 0

【基于Spark与TensorFlow的机器学习实践】

Apache Spark是目前最火热的计算框架,而TensorFlow是目前最火热的机器学习框架,当他们2个碰撞到一起的时候,也会产生巨大的能量。本议题会介绍EMR和PAI在这个上面的实践。主讲人吴威(无谓), 阿里巴巴高级技术专家,2008年加入阿里巴巴集团,先后在B2B和阿里云工作,一直从事大数据和分布式计算相关研究,作为主要开发和运维人员经历了阿里内部大数据集群的上线和发展壮大,现在阿里云EMR团队,负责Spark、Hadoop等计算引擎研发。江宇,阿里云EMR技术专家。从事Hadoop内核开发,目前专注于机器学习、深度学习大数据平台的建设

2557 1
|
MaxCompute 大数据
|

阿里巴巴大数据产品最新特性介绍—DataWorks |2019大数据技术公开课第三季

本次直播将为您做DataWorks增值版本的高级feature及场景化介绍,帮您更好的了解和使用DataWorks增值版本。 <br/> 直播嘉宾:刘天鸢 阿里云智能事业群 高级产品经理

2780 0
来自: 大数据计算 MaxCompute  版块
|
大数据 MaxCompute
|

帮助企业做好MaxCompute成本优化的实践

帮助企业做好MaxCompute成本优化的实践

1093 0
来自: 大数据计算 MaxCompute  版块

2024FFA分论坛-数据集成1

FFA2024数据集成专场由Apache Flink核心贡献者与来自阿里云智能、杭州银行、光大银行、货拉拉、数新智能、镜舟科技等公司的一线技术专家聚焦于实时技术在数据集成场景的价值与发展,讨论实时技术如何提升数据处理的全链路时效性,分析如何基于 Flink 设计实时数据集成框架,以及实时数据集成技术在不同业务领域的最佳实践。

394 0
来自: 实时计算 Flink  版块

2024FFA分论坛-行业解决方案2

FFA2024行业解决方案专场由Apache Flink核心贡献者与来自中国联通、阿里云、腾讯、中国电信、微财、谙流科技、平凯星辰、飞轮科技等公司的一线技术专家带来分享,探讨Apache Flink在关键行业场景中落地的实时数据驱动决策和分析的方案,通过这些案例,一起解析技术挑战,分享业务成果,促进实时数据处理技术的创新与发展。

421 0
来自: 实时计算 Flink  版块

2024FFA分论坛-生产实践1

FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来,将聚焦于在生产中使用和部署Flink的痛点和经验以及最佳实践, 共同探讨如何在真实环境中更高效,安全,敏捷地落地实时数据处理框架。

821 0
来自: 实时计算 Flink  版块

2024FFA-分论坛-核心技术专场1

FFA2024核心技术专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、Shopee、蚂蚁金服等公司的一线技术专家解析Flink技术动向与应用实践,重点探讨Flink的核心技术在实际生产环境中面临的挑战,以及如何通过最佳实践来进行扩展和改进。

879 0
来自: 实时计算 Flink  版块

[oeasy]ai大模型服务哪家大厂好_大模型服务平台横向评测_字节跳动扣子

[oeasy]ai大模型服务哪家大厂好_大模型服务平台横向评测_字节跳动扣子_百度千帆_阿里百炼

675 54

生产实践专场(一)

生产实践专场集结字节跳动、华为、蚂蚁金服、Shopee、B站、快手、腾讯、京东物流、小红书的技术专家探讨基于 Flink 的实时场景下技术优化及实践。

1049 1
来自: 实时计算 Flink  版块

行业实践专场(二)

行业实践专场将由美的、芒果 TV、喜马拉雅、曹操出行、米哈游、腾讯、字节跳动、中原银行、上海汽车集团、中南电力、跨越速运、传音、传智教育等多行业实时计算领域专家详细解读 Flink 在不同企业和行业内的应用与落地,围绕业务场景、业务痛点、面临挑战、如何破局等宝贵实践经验倾囊相授,帮助开发者更全面和深入地了解 Flink 技术如何在实际生产场景中落地。

641 0
来自: 实时计算 Flink  版块

流式湖仓专场(一)

流式湖仓专场邀请阿里云智能、联通、同程旅行、汽车之家、OPPO、网易、滴滴、镜舟科技、广联达、平安证券、快手等企业技术专家解读基于 Flink + Paimon 构建流式数据湖相关问题,更有基于 Paimon + StarRocks、Flink + Paimon + Hologres、Paimon + Spark 的流式湖仓最佳应用实践与分析。

1528 0
来自: 实时计算 Flink  版块

流批一体专场

流批一体专场由来自阿里云智能、小红书、字节跳动、小米等企业的技术专家为你呈现流批一体的大规模应用实践案例,了解业务在数仓建设过程中的痛点与思考。另有来自阿里云智能高级技术专家将分享流批融合的理念与优势,结合全增量一体数据处理场景介绍流批融合的技术挑战与设计方案,以及 Flink 社区在这方面的最新进展与未来规划。

1478 0
来自: 实时计算 Flink  版块

核心技术专场(一)

核心技术专场由 Apache Flink 核心贡献者与阿里云智能、字节跳动、网易、美团、蚂蚁金服等公司的一线技术专家解析 Flink 2.0 技术动向与应用实践。

1372 0
来自: 实时计算 Flink  版块

阿里云产品生态伙伴-安恒与阿里云的故事

【产品伙伴故事专辑】:https://www.aliyun.com/page-source/chanpinshengtai/productpartner/productecologylivelist【伙伴介绍】安恒一直秉承“助力安全中国、助推数字经济”的企业使命,以数字经济的安全基石为企业定位,逐步形成了云安全、大数据安全、物联网安全、智慧城市安全、工业互联网和工控系统安全在内的五大战略方向。安恒凭借强大的研发实力和持续的产品创新,完成覆盖网络信息安全全生命周期的产品、服务及解决方案体系。讲师/嘉宾简介讲师:郑赳职位:高级副总裁

435 0

一次股票涨停,到底能赚多少钱?1行Python代码,终于算明白了

一次股票涨停,到底能赚多少钱?1行Python代码,终于算明白了

502 1

阿里云 Elasticsearch Serverless 介绍

Elasticsearch Serverless 服务基于云原生Serverless技术开发,致力于为用户打造更低成本、弹性灵活、开放兼容、开箱即用的Elasticsearch使用体验。相比公测版,正式版Elasticsearch Serverless服务对原生Elasticsearch的读写API及生态组件有更高兼容性,帮助用户快速构建数据检索与分析应用,可灵活使用在多种应用场景中,例如网站搜索、企业信息检索、日志分析、运维监控等。 立即开通>>

11593 4
|
Python
|

Python快速入门教程10

Python入门-其他(Python调试、Python科学计算)

476 0
|
Python
|

Python快速入门教程09

Python入门-文件管理

484 0
|
Python
|

Python快速入门教程05

Python入门-函数

453 0
|
Python
|

Python快速入门教程04

Python入门-流程控制语句(条件与循环)

513 0
|
人工智能 人机交互 Python
|

【第8讲】免费的微信机器人发布了,只需要1行Python代码,赶紧来试试

【第8讲】免费的微信机器人发布了,只需要1行Python代码,赶紧来试试

562 1

FY23阿里云暑期夏令营精彩瞬间(下)

来自全国不同高校的学生们相聚在阿里云园区,一声同学,一份关切,情意绵长,美好永在!了解更多夏令营信息请点击:https://edu.aliyun.com/learning/topic/xialy?spm=5176.20960838.0.0.1122305e1NNFso

456 0
|
Python
|

【第3讲】不要重复造轮子原来是这个意思!入门pip的使用,编程准备工作最后一站

【第3讲】不要重复造轮子原来是这个意思!入门pip的使用,编程准备工作最后一站

449 1

StarRocks 3.0 极速统一的湖仓新范式

讲师简介张友东:StarRocks Active Contributor内容简介在线讲解从 shared-nothing 到 shared-data 的湖仓分析新范式如何帮助用户实现“极速统一“的价值。动手实践EMR Serverless StarRocks 免费测试https://developer.aliyun.com/article/1191440

2238 4

阿里云 × Elastic 中国用户峰会 2023-分论坛

阿里云与Elastic 合作已走过五年历程,Elasticsearch 在中国蓬勃发展。本次大会邀请国内外众多搜索领域的一线技术专家和行业领袖为大家分享实践经验,贡献后疫情时代企业如何使用云上搜索实现降本增效的锦囊妙计。 Search for Future,一起探讨搜索领域未来技术和产业应用的发展趋势!讲师/嘉宾简介搜索领域一线技术专家和行业领袖

6005 0

Flink Forward 平台建设 “联通Flink实时计算平台运维实践”

Flink Forward 平台建设“联通Flink实时计算平台运维实践”穆纯进联通数科实时计算团队负责人

3996 0
来自: 实时计算 Flink  版块

Flink Forward AI特征工程 “FeatHub:流批一体的实时特征工程平台”

Flink Forward AI特征工程 “FeatHub:流批一体的实时特征工程平台”林东Apache Kafka committer和PMC成员

157434 0
来自: 实时计算 Flink  版块
|
数据采集 人工智能 达摩院
|

六、培训课程-AIE技术分享之遥感AI模型自学习训练实践

为加强用户对AI Earth的理解,促进双方交流,提升AI Earth在地球科学领域的服务支撑能力,达摩院多位专家带来AI Earth地球科学云平台线上系列培训,干货满满,诚邀参与!

7557 0
|
数据采集 人工智能 达摩院
|

五、培训课程-AIE技术分享之遥感AI算法原理

为加强用户对AI Earth的理解,促进双方交流,提升AI Earth在地球科学领域的服务支撑能力,达摩院多位专家带来AI Earth地球科学云平台线上系列培训,干货满满,诚邀参与!

625 0
|
人工智能 数据可视化 大数据
|

阿里云产业智能OpenTrek——数字医疗引擎Hdata

医疗健康数智平台Hdata提供符合医疗行业数据特性的数据治理和服务全套工具,具备简单易用、生态开放、算法智能、数据安全等特性,帮客户真正的管理好数据、用好数据、发挥好数据智能的价值。

5031 2

Flink Forward 行业实践“中原银行OLAP架构实时化演进”

Flink Forward 行业实践“中原银行OLAP架构实时化演进”杜威科 中原银行实时计算平台负责人

601 0
来自: 实时计算 Flink  版块

Flink Forward 行业实践“Flink 在中泰证券的实践与应用”

Flink Forward 行业实践“Flink 在中泰证券的实践与应用”连序全 中泰证券大数据中心实时计算架构师

573 0
来自: 实时计算 Flink  版块

Flink Forward 实时湖仓“Flink Table Store 0.3 构建流式数仓最佳实践”

Flink Forward 实时湖仓“Flink Table Store 0.3 构建流式数仓最佳实践”李劲松 Flink PMC

908 0
来自: 实时计算 Flink  版块

Flink Forward 平台建设“字节跳动Flink大规模云原生化实践”

Flink Forward 平台建设“字节跳动Flink大规模云原生化实践”刘畅 字节跳动基础架构工程师

704 0
来自: 实时计算 Flink  版块

Flink Forward 平台建设“小米基于Flink的实时计算资源治理实践”

Flink Forward 平台建设“小米基于Flink的实时计算资源治理实践”张蛟 小米高级软件工程师

1713 1
来自: 实时计算 Flink  版块

Flink Forward 平台建设“Dinky 在 Flink 开发模式的开源探索实践”

Flink Forward 平台建设“Dinky 在 Flink 开发模式的开源探索实践”亓文凯 开源 Dinky Maintainer

1228 0
来自: 实时计算 Flink  版块

Flink Forward 平台建设“Flink 在蚂蚁大规模金融场景的平台建设”

Flink Forward 平台建设“Flink 在蚂蚁大规模金融场景的平台建设”李志刚 蚂蚁集团高级技术专家

4177 3
来自: 实时计算 Flink  版块

Flink Forward 实时湖仓“SmartNews 基于 Flink 的 iceberg 实时数据湖实践”

Flink Forward 实时湖仓“SmartNews 基于 Flink 的 iceberg 实时数据湖实践”戢清雨 SmartNews 数据平台架构师

749 0
来自: 实时计算 Flink  版块

Flink Forward 实时湖仓“B站实时数据湖实践”

Flink Forward 实时湖仓“B站实时数据湖实践”周晖栋 bilibili大数据实时团队资深开发工程师

743 57
来自: 实时计算 Flink  版块

Flink Forward Asia 实时风控专场 “Flink CEP 在抖音电商的业务实践”

Flink Forward Asia 实时风控专场 “Flink CEP 在抖音电商的业务实践”张健 字节跳动数据工程师

812 0
来自: 实时计算 Flink  版块

实时数仓workshop北京站"阿里妈妈Dolphin智能计算引擎基于Flink+Hologres实践"

实时数仓workshop北京站"阿里妈妈Dolphin智能计算引擎基于Flink+Hologres实践"徐闻春阿里巴巴技术专家

1616 0
来自: 实时计算 Flink  版块

实时数仓workshop北京站"预计算技术+Hologres在阿里采集流量分析产品中的实践"

实时数仓workshop北京站"预计算技术+Hologres在阿里采集流量分析产品中的实践"康凯阿里巴巴技术专家

594 53
来自: 实时计算 Flink  版块

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

3
今日
69779
内容
128
活动
440045
关注
你好!
登录掌握更多精彩内容

活跃用户

相关产品

  • 大数据开发治理平台 DataWorks
  • 日志服务
  • 检索分析服务 Elasticsearch版