QCon大会精彩分享:数据湖、可观测、自动驾驶训练,阿里云存储独家技术详解与案例实践!

本文涉及的产品
应用实时监控服务ARMS - 应用监控,每月50GB免费额度
可观测可视化 Grafana 版,10个用户账号 1个月
可观测链路 OpenTelemetry 版,每月50GB免费额度
简介: QCon 全球软件开发大会是由极客邦科技旗下 InfoQ 中国主办的综合性技术盛会,每年在伦敦、北京、纽约、圣保罗、上海、旧金山召开。自2007年3月份开始举办以来,已经有超万名有多年从业经验的技术人员参加过QCon大会。QCon 内容源于实践并面向社区,演讲嘉宾依据热点话题,面向5年以上工作经验的技术团队负责人、架构师、工程总监、开发人员分享技术创新和实践。

近日,Qcon大会·上海站顺利闭幕,阿里云存储作为内容出品合作方受邀参会,有3名技术专家在【LakeHouse落地】、【业务性能监控】、【智能汽车场景】等专场中带来精彩分享;其中两个专场获得现场最受好评奖,并且阿里云资深技术专家-丁来强(成喆)获得明星讲师称号;接下来一起看看现场的精彩分享吧!

1图片.png


【LakeHouse落地专场】

随着云计算技术的飞速发展和日益成熟,大数据分析的系统架构也朝着云原生的方向逐步演进。利用云技术的便携,弹性,高性能特点,大数据分析完成了从开源 Hadoop 的存算一体,到基于云存储的存算分离分析模式升级,再到云原生数据湖和湖仓一体的 LakeHouse 分析架构升级,以此来帮助企业和客户使用较低的资源成本,充分挖掘数据的价值。

2图片.png

在该专场中,阿里云资深技术专家-梁明旭(旭一),带来了《云原生数据湖实战之前世今生》专题分享!详细介绍了数据湖的历史由来,和阿里云数据湖1.0到3.0的升级之路!

3图片.png

梁明旭(旭一)表示:对象存储OSS作为云原生数据湖的存储底座,在 LakeHouse 架构体系中扮演着重要的角色。基于数据湖的数据分析架构是云上部署的重要选择,开放的数据湖存储,可以大幅提高数据价值挖掘的效率。目前已经有10000+企业,在阿里云上构建数据湖方案,可以更好的进行大数据分析和智能决策。

4图片 1.png

近期,阿里云数据湖存储架构在四个方面进行了全面升级:
第一, 以更加开放的方式与开源系统对接,实现多协议、多引擎的支持。
第二, 访问带宽的全面提速,每PB 100Gbps 的高吞吐能力。
第三, 简化数据管理,统一命名空间,让云上云下数据便捷流动;WORM技术可有效防止数据被篡改。
第四, 数据的自动分层进一步降低成本;数据的共享实现一份数据多个引擎分析。

5图片 1.png

此外,阿里云近期还重磅发布了对象存储OSS的深度冷归档类型,价格仅为0.0075元 /GB/月,1TB一年仅需92元!是业界最低成本的存储,适用于对海量、访问频次低的数据进行归档和管理。低成本的背后,其实是高科技的加持,更是IT软硬件体系的一次完美重构。

【业务性能监控专场】
当今,ROI 和 ROI 的度量,是每个企业是必须考虑的核心问题,所以业务性能监控是每个企业必须要走的路。那么什么是业务性能监控?性能对外是用户体验优化,是产品的性价比,对内是成本、可靠性。紧贴业务的性能监控,依据大数据获得业务特征,可以与 DevOps 和云原生结合,快速扩缩容,混合部署,优化程序,获得成本收益。可以与用户反馈平台、行为分析平台结合,快速定位客户问题,聚焦核心问题,获取体验优化、收入增长的收益。

6图片 1.png

在这个专场,阿里云资深技术专家-丁来强(成喆),为大家带来了《基于云产品可观测平台的业务监控技术实践》专题分享,希望能给大家更多相关的案例和启发,修炼内功,让企业自身更强韧更强大。

7图片 1.png

丁来强(成喆)认为:随着云原生时代的到来,云上资源愈发复杂,架构更加多样,如果缺乏有效的云管理能力,将不可避免造成巨大的资源浪费和成本支出。

同时云原生技术的快速发展,更多企业技术平台选择上云,随着使用云产品类型的不断增加,这也对业务系统的运维管理带来巨大挑战,所以“云产品”可观测对于云上企业构建全栈的业务可观测方案尤为重要。

8图片 1.png

我们希望通过阿里云观察到的数万用户的云上业务监控的挑战的思考,为大家拆解容器一体化监控、业务资源用量与成本分析等典型场景,深度解析云产品可观测平台的数据链路、存储分析平台的技术设计。通过实现紧贴业务的性能监控,能够帮助企业快速定位并聚焦核心问题,完成体验优化的同时实现降本增效。

9图片 1.png

为了帮助用户清晰地透视云产品的内部行为,阿里云日志服务 SLS 近期发布了云产品可观测平台 Alibaba Cloud Lens,让用云和管云变得更简单。
10图片 1.png

通过 Alibaba Cloud Lens,为客户提供云产品的用量分析、访问分析、异常检测、安全分析、性能监控、数据保护等服务,从成本、性能、安全、数据保护、稳定性、访问分析六个维度,提供云产品的精细化运维辅助分析能力,让企业在保障业务敏捷性的前提下,低门槛地实现对云产品可观测。

【智能汽车场景专场】

随着自动驾驶技术日趋成熟,量产车辆持续规模化交付,研发、测试、运营等阶段产生的数据量也呈现出几何倍数增长。其中,AI操作系统作为自动驾驶的核心技术,对于传感器每天收集到的海量数据都需反复进行模拟和深度学习,为存储的吞吐、时延和灵活性带来了更高挑战。

11图片 1.png

为此,阿里云高级技术专家-廖泽贤,将为大家带来《面向自动驾驶 AI 训练的统一存储最佳实践》主题分享,介绍AI对存储的要求与挑战,深入解读存储介质及存储网络对集群性能的影响,分享自动驾驶行业的最佳实践案例。

12图片 1.png

廖泽贤表示:在自动驾驶技术研发阶段,其对基础设施的核心要求是能快速且稳定地对海量数据进行采集和处理。在车联网AI和商业等智能汽车场景下,每天将会产生几十TB的数据,如何高效安全的采集这部分数据是一大难题。除此以外,在日常模型训练场景下,需要对百GB的数据进行集中训练,就需要文件系统提供低时延的文件访问能力,从而加速训练过程。在这些情况下,线下传统NAS存储存在单点性能瓶颈,并且容量和性能不支持弹性扩张,无法满足GPU的低延迟的文件访问需求。

13图片 1.png

针对传统自动驾驶方案中多业务数据存储使用效率低下的问题。通过阿里云文件存储CPFS和对象存储OSS数据湖存储及数据自由流动解决方案,满足从海量数据采集到清洗、标注、训练到归档的数据自动化,提供了自动驾驶研发云的统一数据平台,可以极大提升研发效率。

● 海量小文件承载能力:CPFS 单文件系统可提供40亿文件承载能力和百万OPS能力
● 超高性能:CPFS单文件系统提供亚ms级读写延迟、280W IOPS和几十万元数据操作OPS
● CPFS与OSS数据流动:数据块级别按需拉取OSS数据,无需预读,无需等待完整OSS对象导入完成即可开始计算。数据冷却后自动下沉至OSS,降低存储成本
● 容器大规模扩缩容:CPFS支持K8S CSI接口,可支持数万POD同时访问和大规模弹性扩缩容
● 统一数据底座OSS:一套系统实现数据处理,标注和持久化存储,数据0拷贝,时间节省30%;无缝对接EMR等多种计算引擎和Hadoop等多种开源生态

14图片 1.png

阿里云自动驾驶一体化数据解决方案,致力于帮助各研究自动驾驶的企业,在数据采集、运输、上传和计算全链条上进行时间、成本、安全以及计算效率等方面的改善。

小鹏汽车作为中国领先的智能汽车制造商,就使用了阿里云自动驾驶一体化数据解决方案。该方案不仅帮助其解决了日均几百TB的数据,还帮助AI系统迅速处理数据,加速汽车在复杂路况和驾驶技巧的训练速度,帮助小鹏汽车在自动驾驶模型训练提速170倍!

【总结】


随着技术、模式、业态创新成为数字经济的常态,需求端的常态化创新将向基础设施端传导,敏捷高效成为数字基础设施的刚需。在这样的背景下,云存储需要继续保持稳定安全可靠,需要持续的成本优化的能力,需要进一步提升 Serverless化能力,需要降低使用和管理的复杂度,需要充分释放云存储的弹性、按需所用、按量计费和资源精简分配的优势。唯有如此,才是真正的下一代云存储,才能真正帮助客户释放数据无限价值。

如需获取现场演讲PPT,可点击链接填写表单免费下载;如有任何问题或需求,可加入存储用户交流群咨询!

旭一 - 云原生数据湖实战之前世今生:
https://page.aliyun.com/form/act276874515/index.htm

成喆 - 基于云产品可观测平台的业务监控技术实践:
https://page.aliyun.com/form/act2054522917/index.htm

廖泽贤 - 面向自动驾驶的AI训练统一存储最佳实践:
https://page.aliyun.com/form/act1741137508/index.htm

15图片 1.png

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
4天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
24 2
|
5天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用,通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理,确保高可靠性和容错性;Spark则凭借其高性能和丰富的API,进行深度分析和机器学习,实现高效的批处理和实时处理。
21 1
|
3月前
|
存储 分布式计算 监控
揭秘阿里云EMR:如何巧妙降低你的数据湖成本,让大数据不再昂贵?
【8月更文挑战第26天】阿里云EMR是一种高效的大数据处理服务,助力企业优化数据湖的成本效益。它提供弹性计算资源,支持根据需求调整规模;兼容并优化了Hadoop、Spark等开源工具,提升性能同时降低资源消耗。借助DataWorks及Data Lake Formation等工具,EMR简化了数据湖构建与管理流程,实现了数据的统一化治理。此外,EMR还支持OSS、Table Store等多种存储选项,并配备监控优化工具,确保数据处理流程高效稳定。通过这些措施,EMR帮助企业显著降低了数据处理和存储成本。
122 3
|
3月前
|
安全 数据管理 大数据
数据湖的未来已来:EMR DeltaLake携手阿里云DLF,重塑企业级数据处理格局
【8月更文挑战第26天】在大数据处理领域,阿里云EMR与DeltaLake的集成增强了数据处理能力。进一步结合阿里云DLF服务,实现了数据湖的一站式管理,自动化处理元数据及权限控制,简化管理流程。集成后的方案提升了数据安全性、可靠性和性能优化水平,让用户更专注业务价值。这一集成标志着数据湖技术向着自动化、安全和高效的未来迈出重要一步。
61 2
|
3月前
|
存储 机器学习/深度学习 弹性计算
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
|
3月前
|
安全 对象存储
阿里云EMR数据湖文件系统问题之JindoFSOSS的单一prefix热点的问题如何解决
阿里云EMR数据湖文件系统问题之JindoFSOSS的单一prefix热点的问题如何解决
|
3月前
|
存储 安全 API
阿里云EMR数据湖文件系统问题之JindoFS元数据查询和修改请求的问题如何解决
阿里云EMR数据湖文件系统问题之JindoFS元数据查询和修改请求的问题如何解决
|
6月前
|
存储 缓存 安全
阿里云EMR数据湖文件系统: 面向开源和云打造下一代 HDFS
本文作者详细地介绍了阿里云EMR数据湖文件系统JindoFS的起源、发展迭代以及性能。
72691 79
|
5月前
|
存储 分布式计算 OLAP
Apache Paimon统一大数据湖存储底座
Apache Paimon,始于Flink Table Store,发展为独立的Apache顶级项目,专注流式数据湖存储。它提供统一存储底座,支持流、批、OLAP,优化了CDC入湖、流式链路构建和极速OLAP查询。Paimon社区快速增长,集成Flink、Spark等计算引擎,阿里巴巴在内部广泛应用,旨在打造统一湖存储,打通Serverless Flink、MaxCompute等,欢迎大家扫码参与体验阿里云上的 Flink+Paimon 的流批一体服务。
14186 7
Apache Paimon统一大数据湖存储底座
|
3月前
|
存储 缓存 数据管理
阿里云EMR数据湖文件系统问题之JindoFS数据孤岛的问题如何解决
阿里云EMR数据湖文件系统问题之JindoFS数据孤岛的问题如何解决