什么是OSS加速器?

简介: OSS加速器通过将热点数据缓存至高性能NVMe SSD,提供低延迟、高QPS的数据访问服务,适用于AI模型推理、大数据分析等场景,支持弹性伸缩和多种预热策略,提升数据访问效率。

随着AI、数据仓库、大数据分析等业务发展,越来越多运行在OSS上的业务对于数据的访问延迟、QPS和吞吐有了更高的要求。OSS推出加速器功能,可以将OSS中的热点文件(Object)缓存在与计算服务同可用区的NVMe SSD高性能存储介质上,提供毫秒级低延迟和高QPS的数据访问服务。


说明

无地域属性存储空间不支持使用OSS加速器。

 

接下来就详细介绍OSS 加速器的功能优势、工作原理和一些具体使用场景。

一、功能优势

  • 低延迟

OSS 加速器为可用区级服务,从而实现与计算资源的同可用区部署,降低网络延迟,叠加 NVMe SSD 介质降低介质访问延迟,可以为业务提供端到端毫秒级的下载延迟体验。对于推理模型下载、数仓热数据查询有较好的效果。

  • 高 IOPS

高性能 NVMe SSD 介质带来 10万级的读 IOPS 能力,面向百 KB 小文件或小数据块频繁读取。

  • 高吞吐密度

OSS加速器为少量数据提供极大的吞吐能力,可以满足少量热数据的突发读取需求。

  •  高吞吐能力

加速器的带宽随容量大小线性增长,并提供高达百GB/s的突发吞吐能力。

  • 弹性伸缩

计算任务通常是周期性任务,每个任务所需资源存在差异。加速器可根据您的需求进行在线扩容或缩容,可有效避免资源浪费,降低您的使用成本。加速器支持最低50 GB,最大百TB的缓存空间。OSS加速器继承了OSS海量数据存储的优点,支持直接缓存数仓中的多个表或者分区。

  • 存算分离

OSS加速器相较于计算服务器上的缓存空间,可以脱离计算服务器独立且在线调整空间和性能。

  • 数据一致

加速器提供了传统缓存方案不具备的OSS数据强一致性。当OSS上的文件被更新时,加速器能自动识别并缓存更新后的文件,以确保计算引擎读取的都是更新后的数据。

  • 多种预热策略

OSS加速器能够自动识别OSS上更新的文件,确保引擎读取到最新数据。OSS加速器提供以下预热策略。

读时预热:在加速器中读取数据时未命中,则会自动回源到标准OSS,获取到数据,并将其存放到加速器中。

同步预热:数据写入OSS时,将数据同步缓存至加速器空间。

异步预热:通过配置,将OSS中数据批量缓存至加速器空间。

说明

读时预热默认开启且不可配置。

同步预热和异步预热需手动配置开启,两种功能可同时使用

二、工作原理

加速器创建完成后会拥有一个可用区专属的内网加速域名,并且此域名只能通过内网访问,不支持公网访问。例如华北2(北京) H 可用区的加速域名为cn-beijing-h-internal.oss-data-acc.aliyuncs.com。当您与加速器在同一专有网络VPC时,您可以通过加速域名访问加速器内的资源,流程如下。

251.jpg

l 写请求

读时预热:客户端向加速域名发送的写请求会直接转发至OSS Bucket,流程与使用OSS默认域名一致。

同步预热:客户端向加速域名发送的写请求会直接转发至OSS Bucket和OSS加速器。

异步预热:将需要预热的数据在访问请求开始前,提前写入OSS加速器。

同步+异步预热:请求会直接转发至OSS Bucket和OSS加速器。并且在访问请求开始前,可以提前将热数据写入OSS加速器。

 

l 读请求

说明

各种预热策略下的读请求方式一致。

客户端向加速域名发送的读请求会被转发给OSS加速器。

加速器在收到读请求后会在缓存空间内查找目标文件:

若缓存空间存在目标文件,则文件直接返回给客户端。

若缓存空间没有目标文件,加速器会向绑定的OSS请求目标文件。OSS在收到请求后,会将目标文件缓存到加速器中,加速器将文件返回给客户端。

当加速器缓存已满后,加速器会根据缓存文件的热度将低热度的文件替换为高热度文件。

三、使用场景

OSS加速器适用于需要大量带宽,且数据重复读的场景。具体场景如下:

1.低时延数据共享

客户在货柜上购买物品,先通过手机App扫描货柜的货物拍照上传,应用后端接收到图片后通过OSS加速器进行存储。后台的子系统随后进行内容安全分析和图片上条码的识别,条码识别后的结果反馈到应用后端进行扣费等操作。下载图片要求毫秒级完成。

解决方案:采用OSS加速器写时预热的模式。使用OSS加速器可以有效降低分析系统加载图片的延时情况,缩短交易链路。OSS加速器适合对延时敏感,多次重复读的业务。

252.jpg

2.模型推理

AIGC模型推理需要拉取加载模型文件,在推理的调试过程中,还需要不断切换新的模型文件进行尝试。随着模型文件的不断增大,推理服务器拉取模型文件所需时间会越来越长。

253.jpg

解决方案:采用OSS加速器异步预热或者读时预热模式。OSS异步预热模式适用于明确知晓热点模型文件范围的场景,读时预热适用于不确定模型文件范围的场景。如果您知晓热点模型文件的列表,可以配置相应的加速器空间,并通过加速器SDK将指定的OSS文件提前放入加速器空间中。您也可以根据经验配置一定大小的加速器空间,加速器会在数据读取时自动缓存文件至加速器高性能介质中,供下次读取时快速访问。加速器的空间可根据加速效果随时进行扩缩调整。

 

3.大数据分析

公司的业务数据按天进行分区,归档到OSS作为长期数据进行存储。分析人员使用Hive或Spark等计算引擎对数据进行分析,但不确定查询范围。分析人员要求尽量减少查询分析时间。

254.jpg

解决方案:使用OSS加速器读时预热的模式。该模式适用于离线查询场景下数据量大,且不确定数据查询范围,无法准确预热的场景。例如,分析人员A查询的数据,数据会缓存在加速集群。而分析人员B查询的数据包含分析人员A查询的数据,从而加快数据分析进度。

 

4.多级加速

客户端缓存和服务端加速并不冲突,希望根据业务情况能够达到多级加速的效果。

255.jpg

 

解决方案:OSS加速器与客户端缓存搭配使用。推荐客户端缓存与计算集群共置部署。当读取的数据未命中客户端缓存时,会从后端存储来读取数据。对于OSS加速器,采用读时预热,并在第一次获取数据时进行预热。由于客户端主机缓存空间的限制,客户端缓存中每个文件和目录都会设置TTL。当TTL到期后缓存会被淘汰,以便节约空间。此时,OSS加速器中的数据并不会马上淘汰,其缓存空间可以存放数百TB的数据。当再次读取客户端缓存中未命中的数据时,可以直接从OSS加速器加载,实现两级加速。

相关实践学习
通义万相文本绘图与人像美化
本解决方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。
相关文章
|
4月前
|
存储 人工智能 缓存
如何创建、修改和删除OSS加速器?
OSS加速器通过将热点数据缓存至高性能存储,提升数据访问速度,适用于AI、大数据分析等高并发场景。本文介绍其创建、删除及容量调整操作,助力优化业务性能。
|
存储 SQL 机器学习/深度学习
OSS加速器最佳实践-总述篇
OSS加速器最佳实践(总述篇)本最佳实践提供OSS加速器相关的信息和适合的场景,面向对oss和数据湖相关技术有一定了解的开发者。     大家可以通过这俩篇先做一些了解相关文档:《配置OSS加速器》https://help.aliyun.com/document_detail/190726.html《OSS加速器介绍》https://developer.aliyun.com/article/780
1061 1
OSS加速器最佳实践-总述篇
|
存储 机器学习/深度学习 缓存
一站式极致读吞吐,加速业务数字化转型 - 阿里云对象存储 OSS加速器解析与实践
阿里云对象存储OSS重磅推出OSS加速器功能,提供高性能、高吞吐量的数据访问服务。
8846 0
一站式极致读吞吐,加速业务数字化转型 - 阿里云对象存储 OSS加速器解析与实践
|
2月前
|
存储 人工智能 Cloud Native
阿里云渠道商:OSS与传统存储系统的差异在哪里?
本文对比传统存储与云原生对象存储OSS的架构差异,涵盖性能、成本、扩展性等方面。OSS凭借高持久性、弹性扩容及与云服务深度集成,成为大数据与AI时代的优选方案。
|
4月前
|
存储 运维 安全
阿里云国际站OSS与自建存储的区别
阿里云国际站对象存储OSS提供海量、安全、低成本的云存储解决方案。相比自建存储,OSS具备易用性强、稳定性高、安全性好、成本更低等优势,支持无限扩展、自动冗余、多层防护及丰富增值服务,助力企业高效管理数据。
|
4月前
|
存储 域名解析 前端开发
震惊!不买服务器,还可以用阿里云国际站 OSS 轻松搭建静态网站
在数字化时代,利用阿里云国际站OSS可低成本搭建静态网站。本文详解OSS优势及步骤:创建Bucket、上传文件、配置首页与404页面、绑定域名等,助你快速上线个人或小型业务网站,操作简单,成本低廉,适合初学者与中小企业。
|
机器学习/深度学习 人工智能 专有云
人工智能平台PAI使用问题之怎么将DLC的数据写入到另一个阿里云主账号的OSS中
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
10月前
|
SQL 分布式计算 Serverless
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
260 0
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。

热门文章

最新文章

相关产品

  • 对象存储