基于 Spark 打造高效云原生数据分析引擎

由阿里巴巴 EMR 团队提交的 TPC-DS 成绩在九月份的榜单中取得了排名第一的成绩。这个成绩背后离不开 EMR 团队对 Spark 执行引擎持续不断的优化。本次分享将选取一些有代表性的优化点,深入到技术细节做详细介绍,包括但不限于动态过滤、CBO增强、TopK排序等等。嘉宾介绍辛庸,阿里巴巴计算平台事业部 EMR 技术专家。Apache Hadoop,Apache Spark contributor。对 Hadoop、Spark、Hive、Druid 等大数据组件有深入研究。目前从事大数据云化相关工作,专注于计算引擎、存储结构、数据库事务等内容。

1764 0

如何有效降低大数据平台的安全风险 | 大数据企业级服务专场

如何有效降低大数据平台的安全风险-李雪峰_大数据企业级服务专场嘉宾介绍李雪峰

1474 0
来自: 大数据计算 MaxCompute  版块
|
大数据
|

EMR-集群创建

EMR-集群创建

983 0
|
大数据
|

阿里云新品发布会第57期:DataWorks 实时数据开发平台发布会

查看产品:DataWorks点击了解:Stream Studio重磅发布有奖问答:互联网大数据时代的实时计算需求,你打算用什么方式来应对?点击了解:“阿里云新品发布会频道”点击订阅:阿里云新品发布·周刊发布会议程简介15:00-16:00 《阿里云DataWorks Stream Studio —— 一站式流任务开发平台》介绍实时计算任务开发的困难、问题和背景,引出使用Stream Studio可以大大加快实时任务的开发速度,降低开发和维护门槛,同时结合DataWorks的整体能力,能够实现实时数仓、实时监控、实时分析、实时大屏等实时大数据场景的一站式开发。讲师简介王喆(喆别)+阿里巴巴产品专家扫码加入阿里云Stream Studio用户群

17354 0
来自: 大数据计算 MaxCompute  版块
|
大数据
|

4节课全面突围企业大数据实践路线(三)

1、直播内容介绍:[MVP 时间]是由阿里云MVP主讲,聚焦行业数字化转型的实战经验的最佳实践课程。重在帮助开发者快速了解中小企业业务搭建中的技术难点与解决方案,减少踩坑。本课程《4节课全面突围企业大数据实践路线》为系列内容,全面介绍企业大数据是如何一步步搭建及应用的过程。课程划分:共计4节课内容,分4次直播进行;每周三晚20:00准时开播,每次1个小时(45分钟的课程,15分钟的答疑)。此次为第三节课程:解析业务数据特征2、分享嘉宾信息:姓名:戚俊 阿里云 MVP职位:浙江银杏谷投资总裁技术助理加钉钉群随时与老师在线互动。

2329 0

2024FFA-分论坛-核心技术专场1

FFA2024核心技术专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、Shopee、蚂蚁金服等公司的一线技术专家解析Flink技术动向与应用实践,重点探讨Flink的核心技术在实际生产环境中面临的挑战,以及如何通过最佳实践来进行扩展和改进。

795 0
来自: 实时计算 Flink  版块

一站式实时数仓Hologres整体能力介绍

Hologres分析服务一体化架构与优势,新能力Serverless Computing实现大ETL任务降本,行为、画像分析等场景深耕,多种函数组合,实时数仓、离线实时一体、实时湖仓多种方案实践讲师/嘉宾简介丁烨 阿里云Hologres产品专家

466 1
来自: 实时数仓 Hologres  版块

Havenask入门系列第10节:Havenask Kubernetes模式

hape工具参考:https://havenask.net/# /doc/sql/petool/intro kubernetes部署参考: https://havenask.net/# /doc/v1-2-0/sql/petool/startcluster/k8smode k8s模式问题排查:https://havenask.net/# /doc/v1-2-0/sql/petool/problem# k8s%E6%A8%A1%E5%BC%8F%E9%97%AE%E9%A2%98%E6%8E%92%E6%9F%A5 Havenask是阿里巴巴自主研发的大规模分布式搜索引擎,主要专注于智能搜索和海量数据实时检索,其核心能力广泛应用于阿里巴巴内部的众多业务,如淘宝、天猫商品搜索,盒马搜索,菜鸟物流订单实时检索等。并于2022年11月对外正式开源,具有灵活的定制和开发能力,支持算法快速迭代,帮助客户和开发者量身定做适合自身业务的智能搜索服务,助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们,为大家全面讲解Havenask的相关知识,通过课程可以了解到产品能力、架构原理、安装部署等内容,同时还有详细的操作演示,帮助大家更好了解和使用产品。 课程介绍:此视频为Havenask入门教程系列的第9节课《问题排查》,将对Havenask使用中4块内容进行讲解。 ● Hape运维脚本 ● 集群 ● 表创建 ● 数据写入与查询 我们期望通过课程可以帮助您更好的使用Havenask,欢迎广大开发者加入项目开发,共建高质量的搜索引擎,共同推进国产化开源搜索引擎技术快速发展,普惠更多的开发者和企业。 此外,对于有使用需求的企业级开发者,我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch,欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网:https://www.aliyun.com/product/opensearch 官网地址:https://havenask.net/ Github:https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群:78c5cfa61c64a55cdeb0655ac7eb2849.png

1009 0
来自: 智能搜索推荐  版块
|
机器学习/深度学习 SQL 存储
|

Havenask入门课程第5节:变更表结构

Havenask是阿里巴巴自主研发的大规模分布式搜索引擎,主要专注于智能搜索和海量数据实时检索,其核心能力广泛应用于阿里巴巴内部的众多业务,如淘宝、天猫商品搜索,盒马搜索,菜鸟物流订单实时检索等。并于2022年11月对外正式开源,具有灵活的定制和开发能力,支持算法快速迭代,帮助客户和开发者量身定做适合自身业务的智能搜索服务,助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们,为大家全面讲解Havenask的相关知识,通过课程可以了解到产品能力、架构原理、安装部署等内容,同时还有详细的操作演示,帮助大家更好了解和使用产品。 课程介绍: 此视频为Havenask入门课程第5节《变更表结构》,共讲解3部分内容。 表结构简介 全量构建与切换流程 修改表实践 我们期望通过课程可以帮助您更好的使用Havenask,欢迎广大开发者加入项目开发,共建高质量的搜索引擎,共同推进国产化开源搜索引擎技术快速发展,普惠更多的开发者和企业。 此外,对于有使用需求的企业级开发者,我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch,欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网:https://www.aliyun.com/product/opensearch 官网地址:https://havenask.net/ Github:https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群:

929 2
来自: 智能搜索推荐  版块

2023全球智能汽车AI挑战赛赛道二初赛赛题辅导

2023全球智能汽车AI挑战赛赛道二初赛赛题辅导

357 0

自动化AutoTalk第三期-自动化实践Tips

云上自动化的四个层次; 自动化实践过程的关键点; 不同规模企业如何规划自动化; 自动化时间过程中的角色责任; 自动化实践过程中的工作流程。

868 1
|
Python
|

Python快速入门教程09

Python入门-文件管理

390 0

【第9讲】根据内容搜索文件,1行Python代码,这是什么黑科技?

【第9讲】根据内容搜索文件,1行Python代码,这是什么黑科技?

404 1

Flink Forward 平台建设“Flink 在蚂蚁大规模金融场景的平台建设”

Flink Forward 平台建设“Flink 在蚂蚁大规模金融场景的平台建设”李志刚 蚂蚁集团高级技术专家

4072 3
来自: 实时计算 Flink  版块

实时数仓workshop北京站“flink x Hologres 构建企业级一站式实时数仓”

实时数仓workshop北京站“flink x Hologres 构建企业级一站式实时数仓”刘一鸣阿里云高级产品专家

614 0
来自: 实时计算 Flink  版块

Flink Forward Asia 2022 实时湖仓 11.26

实时湖仓专场邀请快手、bilibili、SmartNews、美团、SelectDB、OceanBase、StarRocks 等企业技术专家分享基于 Flink 的实时湖仓建设实践与思考。讲师/嘉宾简介姜伟华|阿里云一站式实时数仓 Hologres 总负责人冯立|快手实时数据开发工程师羊艺超|快手实时数据开发工程师周晖栋|bilibili 大数据实时团队 资深开发工程师严书|美团买菜实时数仓技术负责人戢清雨|SmatNews 数据平台架构师, Apache Iceberg Contributor

6577 0
来自: 实时计算 Flink  版块

阿里云云原生一体化数仓 — 数据安全能力解读

云原生一体化数仓数据安全能力基于MaxCompute与DataWorks的组合能力,包括数据分级机制、敏感数据识别算法、用户权限级别和数据安全级别自动映射、数据脱敏、审批和权限回收流程、审计机制、开发生产环境隔离等安全能力,实现了端到端的安全管控能力。讲师/嘉宾简介孔亮 阿里云智能 产品专家

770 58
来自: 大数据计算 MaxCompute  版块

使用DDI+Confluent进行实时数据采集入湖和分析【Databricks 数据洞察公开课】

本次课程将介绍网约车模拟数据从产生、发布到流数据服务confluent,通过Databricks Structured Streaming 进行实时数据处理,存储到LakeHouse,并使用spark和spark sql进行分析的应用实践。讲师/嘉宾简介李锦桂-阿里云开源大数据平台开发工程师

608 0

Flink Forward Asia 2021 Hackathon

首届 Flink Forward Asia Hackathon,本次比赛由 Apache Flink 社区联手阿里云 ACE、 Pravega 社区、DELL 联合举办。本次比赛为开放式命题,以实时计算为主题,以 Flink 为工具,解决大家日常学习和工作中遇到的实际问题。可以是气象预测、城市交通管理、金融交易监察这样关乎国计民生的选题;也可以是提升购物体验、增强游戏互动性、个人运动管理、社交等改善生活中琐碎点滴的选题;还可以是对 Flink 本身的创新和改进。选手需要使用(但不仅限于使用)Flink 生态里的各种工具,包括统计分析、机器学习、复杂事件处理、各类 connector,StatefulFunction 等等来完成自己的选题。共计 29 支队伍进入决赛

4295 0
来自: 实时计算 Flink  版块

Flink Forward Asia 2021 开源解决方案 2

开源大数据生态专场,来自 Pravega、Pulsar、TiDB、Zeppelin 等社区的技术专家围绕 Flink 的生态融合,探讨当下大数据的发展趋势与未来动向,并展现相关技术在一线生产场景的最佳实践。讲师/嘉宾简介1.《Mars on Flink:实时数据流上的 Pandas》付典 - 阿里巴巴高级技术专家,Apache Flink PMC2.《蚂蚁实时计算 Flink on OceanBase》陶然 - 阿里巴巴高级开发工程师,Apache Spark/Apache Flink Contributor周跃跃 - 蚂蚁集团 OceanBase 架构师3.《双剑合璧:Flink + StarRocks 构建实时数仓解决方案》谢寅 - StarRocks 解决方案架构师4.《使用 Apache Atlas 追踪 Apache Flink 的实时数据仓库血缘》刘岩 - Cloudera 解决方案工程师,Apache Hive/Apache Flink Contributor

3383 0
来自: 实时计算 Flink  版块

Flink Forward Asia 2021 实时数仓 1

实时数仓专场邀请腾讯、快手、美团、科大讯飞、理想汽车、蚂蚁金服、SmartNews、智慧芽、十荟团等多位数仓技术专家分析实时数仓的应用实践及平台智能化的探索与思考。讲师/嘉宾简介1.《美团实时数仓平台建设 2021 新进展》姚冬阳 - 美团大数据部实时数仓、实时计算平台负责人2.《快手实时数仓保障体系研发实践》李天朔 - 快手实时计算数据团队技术专家3.《Apache Flink 在腾讯大数据的实践》龙逸尘 - 腾讯大数据高级工程师4.《理想汽车基于 Flink 的实时数据仓库 0-1 初步建设》胡晶明 - 理想汽车数据开发

5767 0
来自: 实时计算 Flink  版块

Flink Forward Asia 2021 平台建设 3

平台建设专场由来自字节跳动、腾讯新闻、网易、小红书、京东、滴滴、bilibili、汽车之家、移动、联通、BIGO、蚂蚁金服、翼支付的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。讲师/嘉宾简介1.《Flink 在移动云实时计算的实践》谢磊 - 移动软件开发工程师2.《Apache Flink 在翼支付的实践应用》曹劼 - 翼支付高级大数据工程师尹春光 - 翼支付高级大数据工程师3.《蚂蚁金服实时计算引擎建设》闵文俊 - 阿里巴巴技术专家,Apache Flink Contributor4.《网易云音乐实时场景应用及优化实践》赵荣生 - 网易云音乐资深平台工程师,Apache Spark/Pulsar Contributor

3781 0
来自: 实时计算 Flink  版块

SaaS模式云数据仓库 MaxCompute 应用场景实践——基于 MaxCompute SQL 的半结构化数据处理实践

介绍如何基于MaxCompute SQL 新功能,处理半结构化数据的场景,需求。讲师简介孔亮 阿里云智能 产品专家

704 0
来自: 大数据计算 MaxCompute  版块

SaaS模式云数据仓库 MaxCompute 应用场景实践——基于MaxCompute分布式Python能力的大规模数据科学分析

如何利用云上分布式 Python 加速数据科学。如果你熟悉 numpy、pandas 或者 sklearn 这样的数据科学技术栈,同时又受限于平台的计算性能无法处理,本次直播介绍的 MaxCompute 可以让您利用并行和分布式技术来加速数据科学。也就是说只要会用 numpy、pandas 和 scikit-learn 之一,就会用 MaxCompute 分布式 Python 的能力。讲师简介孟硕 阿里云智能 产品专家

1641 1
来自: 大数据计算 MaxCompute  版块

E-MapReduce 极客挑战赛线上宣讲会

直播介绍:(建议600字以内)E-MapReduce 极客挑战赛线上宣讲会直播内容:1、大咖寄语2、赛事解读讲师简介EMR极客挑战赛官方

669 0

外部工具连接SaaS模式云数仓MaxCompute — 开源BI分析工具篇 & 数据库管理工具篇

本次直播将主要分享MaxCompute查询加速功能、与开源BI分析工具Davinci、Superset连接示例、以及数据库管理工具DBeaver、DataGrip、SQL Workbench/J的部分连接演示。讲师简介木弈 阿里云智能 产品经理

1404 2
来自: 大数据计算 MaxCompute  版块

Apache Flink Meetup · 北京站

问题与互动页面(戳我进入)5月22日,Apache Flink 社区 1.13 新版本发布 Meetup 来啦!本次Apahce Flink Meetup 分为上下两场,嘉宾分别来自阿里巴巴、字节跳动、快手、爱奇艺和小红书。上半场将由 4 位技术专家带来 Flink 1.13 版本新功能的深入解读。例如 Winddow TVF,DataStream & Table API 交互等;下半场将另有 4 位资深行业技术专家分享 Flink 在互娱行业中的实践应用。全方位解析包括精准推荐、实时数仓、数据分析等在内的行业面临的典型问题。活动亮点超多实用干货,一方面第一时间 get 到 1.13 版本新 feature 和功能提升;另一方面也可以学习到如何探索 Flink 在互娱场景中的实践应用,例如今日头条,抖音背后的核心 - 基于 Flink 的推荐特征体系;活动形式多样化,线下线上同步开启,同城可参与线下 Meetup 面对面交流,异地也可在线观看直播,精彩内容不错过;丰富周边等你拿,报名参加就有机会获得超多 Flink 社区定制的精美周边!Meetup 技术交流群:合作伙伴

20057 0
来自: 实时计算 Flink  版块

智能搜索引擎驱动电商业务增长实践

1、了解阿里云开放搜索2、通过在淘系产品搜索的最佳实践,介绍如何高效搭建智能搜索引擎,带动业务指数级增长3、如何通过开放搜索电商行业搜索增强模板快速构建更高水准的电商搜索服务讲师介绍阿里巴巴技术专家 徐希杰(希杰)

2652 0
来自: 智能搜索推荐  版块

《数据湖存储架构选型》

数据湖技术在大数据领域炙手可热,随着在云上的广泛部署和应用,其业务价值逐渐获得业界共识。传统的大数据平台如何基于数据湖架构进行平台升级,享受新一轮的技术发展红利?郑老师着重跟大家分享了数据湖架构和应用在存储上面临的主要挑战,以及方案选型和最佳实践。嘉宾简介:郑锴,花名铁杰,阿里巴巴高级技术专家,Apache Hadoop PMC。深耕分布式系统开发和开源大数据多年,目前专注于在阿里云上研发业界领先的 Hadoop/Spark 大数据平台和数据湖解决方案产品。

1043 0
|
机器学习/深度学习
|

藏经阁电子书发布会第十期:AI是灵药还是猛兽?

时间:2020年9月2日 19:00-20:00讲师简介:黄博远,阿里云机器学习平台PAI产品负责人。十二年大数据与AI领域技术经验,十年技术管理经验,先后供职于微软、阿里巴巴集团,从是展示广告、搜索广告、电商广告、搜索、云计算等相关领域的技术工作。现任阿里云智能飞天AI平台(PAI)产品负责人、一站式大数据智能研发与治理平台DataWorks产品负责人。主题简介:AI是什么?AI赋予了很多商业业务宝贵的价值,我们日常用的搜索引擎就是应用AI的最大受益者;在电商领域,AI可以做推荐;在金融领域,AI可以做风控等等。对于很多新人来说,AI到底是什么?它似乎涵盖许多很高深的技术,学习AI需要学很多东西,想要抓住AI的风口,学AI甚至想玩转AI,有机会吗?阿里云机器学习平台技术专家给的答案是肯定的。首先,AI(人工智能)是什么呢?AI的本源是一门研究如何用机器来模拟人的智能的技术,让有以下能力:听——语音识别方面看——文字识别、图像识别等方面说——语音合成、人机对话等方面思考——推导数学公式、人机对弈等方面学习以及行动——自动驾驶等整个人工智能技术基本上围绕这些领域展开和迭代。其次,人人都能玩转AI吗?答案也是肯定的。学习AI需要解决算力、算法和数据的问题,加上真实场景来磨练。互联网尤其是移动互联网和换联网的迅猛发展辅助解决海量高质数据的问题;云计算和异构计算的发展辅助解决计算力的问题。而科技发展让整个生产率不断提高的同时不断地降低学习或使用技术的门槛。如同50多年以前,开车是一项非常重要或特殊的技能,司机备受大众敬仰,而今还会有很多人认为会开车的身份很特殊吗?可能不会了,反而是不会开车的人会让人觉得其身份特殊。AI其实也一样,它背后没有什么特别神秘的技术,技术的发展也使其使用和学习门槛在不断地降低。想深入了解AI源于何方、能够解决的典型问题?探讨AI是否能够替代或控制人类的话题?想知道如何像开车、用电脑、用智能手机一样掌握AI的技术?阿里云机器学习平台大神来给你降维讲解,带你了解AI历史,体验AI能力,并为你带来了《阿里云机器学习PAI-DSW入门指南》电子书的发布,带你进入人人都能玩儿AI的时代。教你如何轻松上手并告别纸上谈兵!

4688 57
来自: 人工智能平台PAI  版块

飞天大数据产品价值解读 — 最好用的数据湖管理平台 E-MapReduce


分享人:王晓平 阿里云智能 高级产品经理本次直播将为您介绍最好用的数据湖管理平台 E-MapReduce,包含数据湖典型场景、JindoFS,存储加速及数据分层存储方案及部分典型案例。

1388 45
来自: 大数据计算 MaxCompute  版块

智能推荐系列公开课——智能推荐新闻行业2.0升级与最佳实践

在信息过载、碎片化的时代,个性化推荐成为提升用户浏览/转化率的核心手段之一。而在实际应用中,怎样满足本行业的信息分发需求,精准匹配海量用户偏好,提高运营效率,仍是一个待解之题。此次,阿里巴巴搜索推荐产品团队带来系列公开课,聊聊怎样结合实际场景,嵌入智能推荐,搭建“千人千面”的分发体系,使产品价值最大化。每期20分钟,修炼推荐硬功夫。课程目录第一期推荐场景化构建与业务价值第二期智能推荐在电商的经典打法与实践第三期智能推荐电商行业2.0发布,算法模板再升级第四期7天搭建电商个性化推荐场景和最佳实践第五期0-1激活推荐系统,解锁冷启动难题第六期智能推荐内容行业2.0发布第七期详解内容行业典型案例,直击标题党和推荐时效性第八期智能推荐新闻行业2.0升级与最佳实践第九期智能推荐AIRec功能使用指南第十期课程总结与交流问答

1171 1
来自: 智能搜索推荐  版块

大规模文件元数据下的耗时操作优化

本次直播主要介绍大数据生态中常见的元数据服务部署形态,并分析大规模文件元数据下在生产环境中可能遇到的问题,以及针对这些问题如何进行优化和调整。讲师介绍孙大鹏,花名诚历,阿里巴巴计算平台事业部 EMR 技术专家,Apache Sentry PMC,Apache Commons Committer,目前从事开源大数据存储和优化方面的工作。

1440 0

Office Depot利用Analytics Zoo构建智能推荐系统的实践分享

大量实验结果表明深度学习能更好地帮助商家为用户个性化推荐感兴趣的商品。Office Depot将Analytics Zoo工具包引入到他们的推荐系统中,在Spark集群上分布式训练了各种推荐算法模型,实验结果相比于传统的推荐算法有了十分显著的提升,本次分享主要介绍Office Depot使用Analytics Zoo构建智能推荐系统的实践经验。有兴趣的同学,可以提前关注此开源项目:https://github.com/intel-analytics/analytics-zoo讲师介绍讲师:黄凯Intel数据分析团队软件工程师。负责开发基于Apache Spark的深度学习框架,同时支持企业客户在大数据平台上构建端到端的深度学习应用。他是Analytics Zoo和BigDL的核心贡献者之一。

1569 0

MaxCompute管家详解

本次直播为您介绍MaxCompute管家功能,本功能为用户提供作业信息查看、资源消耗查看(涵盖CU资源和存储资源)、项目查看及调整、配额组增删改查等涉及日常MaxCompute运维能力。讲师介绍婉鱼 阿里云智能 技术专家

2451 2
来自: 大数据计算 MaxCompute  版块

MaxCompute规格详解

带你详细了解MaxCompute产品服务模式及各个规格,帮你在费用成本与业务效果间做好平衡。不管你在意极致的弹性计算资源需求还是更重视成本或基线,合理的选择就能让你花更低的成本获得更高的业务价值。讲师介绍海清, 阿里云智能 高级产品经理

1656 0
来自: 大数据计算 MaxCompute  版块

使用Apache SuperSet和EMR Spark打造交互式的数据探索平台

本次分享主要介绍如何结合Apache SuperSet和EMR Spark,利用EMR Spark提供的JindoCube高级特性在SuperSet进行秒级响应,交互式的可视化数据探索。讲师介绍李呈祥,花名司麟,阿里云智能EMR团队高级技术专家,Apache Hive Committer, Apache Flink Committer,目前主要专注于EMR产品中开源计算引擎的优化工作。

1615 0

Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场

Apache Flink核心技术专场数据的价值在于数据分析,而数据分析的挑战之一在于支撑大数据处理的平台技术。深度技术专题将邀请下一代大数据计算引擎Apache Flink创始团队及业界资深专家解析Flink技术动向,并回归技术本质,打造Flink全方位技术盛宴。讲师介绍崔星灿,Apache Flink Committer,York University 博士后更多直播信息Apache Flink 核心技术专场>>>Pluggable Shuffle Service and Unaligned Checkpoint | Apache Flink 核心技术专场New Source API – Make it Easy! | Apache Flink 核心技术专场Stateful Functions | Apache Flink 核心技术专场Apache Flink新场景——OLAP引擎 | Apache Flink 核心技术专场New Feature and Improvements on State Backends in Flink 1.10 | Apache Flink 核心技术专场阿里巴巴在 Apache Flink 大规模持久化存储的实践之道 | Apache Flink 核心技术专场深入探索 Apache Flink SQL 流批统一的查询引擎与最佳实践 | Apache Flink 核心技术专场Using Apache Flink as a Unified Data Processing Platform | Apache Flink 核心技术专场Apache Flink 流批一体的资源管理与任务调度 | Apache Flink 核心技术专场

1041 0
来自: 实时计算 Flink  版块

OPPO基于Apache Flink 的实时数仓实践 | 实时数仓专场

实时数仓专场数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战。实时数仓专场将聚焦Flink实时数仓在数据链路中扮演的角色与在智能商业中的重要价值,由一线大厂大数据专家分享实时数仓的应用实践及平台智能化的探索与思考。讲师介绍张俊,Apache Flink Contributor,OPPO大数据平台研发负责人更多直播信息实时数仓专场>>>美团点评基于Apache Flink 的实时数仓平台实践 | 实时数仓专场小米流式平台架构演进与实践 | 实时数仓专场Netflix:Evolving Keystone to an Open Collaborative Real-time ETL Platform | 实时数仓专场菜鸟供应链实时数据技术架构的演进 | 实时数仓专场OPPO基于Apache Flink 的实时数仓实践 | 实时数仓专场

2082 0
来自: 实时计算 Flink  版块

(第一部分)从Python 到Java ,Pyboot加速大数据和AI的融合

Python 代表机器学习生态,而以 Hadoop/Spark 为核心的开源大数据则以 Java 为主。前者拥有数不清的算法库和程序,后者承载着海量数据和大量的企业应用。除了 SQL 这个标准方式和各种五花八门的协议接口,还有没有更高效的一手数据通道,将两个生态对接起来,乃至深度融合?Pyboot 是我们在这个方向上的探索。有兴趣的同学欢迎现场观摩演示和技术交流。嘉宾介绍郑锴,花名铁杰,阿里巴巴高级技术专家,Apache Hadoop PMC,Apache Kerby 创立者。深耕分布式系统开发和开源大数据多年,目前专注于在阿里云上提供更好用更有弹性的 Hadoop/Spark 大数据平台;孙大鹏,花名诚历,阿里巴巴计算平台事业部 EMR 技术专家,Apache Sentry PMC,Apache Commons Committer,目前从事开源大数据存储和优化方面的工作;

1795 0

【云上大数据的一种高性能数据湖存储方案】

大数据上云是业界普遍共识,存储和计算分离的趋势日益显著,如何为云上蓬勃发展的大数据处理和分析引擎提供坚实的存储基础?这个 session 会主要讨论 EMR 技术团队重磅推出的一种新型混合存储解决方案,该方案基于云平台和云存储,面向新的存储硬件和计算发展趋势,为 EMR 弹性计算量身打造,在成本,弹性和性能上追求极佳平衡。技术上是如何实现的?性能如何?覆盖了哪些典型场景,最佳实践是什么?敬请期待!主讲人殳鑫鑫(辰石),阿里巴巴计算平台事业部EMR团队技术专家,目前从事大数据存储以及Spark相关方面的工作。徐铖, Intel大数据团队软件开发经理

1655 0
|
12月前
|

DataWorks X DeepSeek : 用AI实现数据开发治理!

DataWorks Copilot × DeepSeek-R1产品演示:以2025年春节杭州的旅游热点分析为例,通过DataWorks Copilot使用DeepSeek-R1满血版模型,进行SQL代码的自动生成、改写和测试操作,实现高效的数据开发流程。

356 0
|
运维 监控 架构师
|

DataWorks 运维中心

DataWorks 运维中心是一站式大数据运维监控平台,支持实时查看任务运行状态,提供智能诊断、重跑等运维操作,帮助您对异常任务进行基础运维;提供智能基线,帮助您解决重要任务产出时间不可控,海量任务监控难的问题,保障任务产出的时效性;提供引擎、资源、调度等多方位的运维能力。

284 0

2024FFA分论坛-流批一体1

FFA2024流批一体专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、蚂蚁金服、Shopee等公司的一线技术专家聚焦于流批一体数仓的最新进展与实践,涵盖从理论探索到实际应用的全方位内容。

498 0
来自: 实时计算 Flink  版块

2024FFA分论坛-数据集成1

FFA2024数据集成专场由Apache Flink核心贡献者与来自阿里云智能、杭州银行、光大银行、货拉拉、数新智能、镜舟科技等公司的一线技术专家聚焦于实时技术在数据集成场景的价值与发展,讨论实时技术如何提升数据处理的全链路时效性,分析如何基于 Flink 设计实时数据集成框架,以及实时数据集成技术在不同业务领域的最佳实践。

337 0
来自: 实时计算 Flink  版块

轻量实时数据分析方案介绍

轻量实时数据分析方案介绍

379 0

云原生专场

云原生专场邀请了阿里云智能、OPPO、货拉拉、益世界等技术专家分享 Flink 多云架构应用与实践。

638 0
来自: 实时计算 Flink  版块

平台建设专场

平台建设专场由来自阿里云智能、网易、小米、SelectDB 的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。

767 0
来自: 实时计算 Flink  版块
|
数据采集 数据可视化 数据管理
|

25-爬虫Spider-Requests模块-COOKIE.

cookie 模拟登录

524 0
|
Python
|

汉字转拼音,1行Python代码就够了,少儿编程太好玩了!

汉字转拼音,1行Python代码就够了,少儿编程太好玩了!

447 1

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

1
今日
69094
内容
128
活动
439687
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务