【实践】基于生命周期管理的存储成本优化

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
对象存储 OSS,恶意文件检测 1000次 1年
简介: 本实验介绍如何在阿里云创建和管理对象存储服务(OSS)。主要内容包括:1. 创建Bucket,选择存储类型及冗余方式;2. 上传文件,推荐使用API或SDK而非控制台直接操作;3. 设置生命周期规则,管理文件的存储层级转换与自动删除。实验重点在于合理配置存储策略以降低成本,并确保数据安全。通过控制台操作,用户可以轻松管理存储资源,但需注意防止不必要的公网访问以避免费用风险。

本次实验,左边是操作步骤的建议,右边是控制台。实名认证和账户余额不重要,本次只开通对象存储服务,不涉及太多的成本,如果没有存太多数据,不会产生费用。


勾选同意并开始操作。操作第一步是创建资源,如果账号没有开通服务或订阅服务没有开通任何资源。通过控制台进入对象存储的管理控制台等同于通过云控制台进入。

image.png

1.创建Bucket列表


使用阿里云的对象存储先创建存储空间,存储空间叫Bucket,如果是块存储就是创建一款盘。


创建一个资源后,该资源对公网服务、对内网服务都需要一个独一无二全球唯一的名字。默认选择地域属性,可以根据业务需求选择地域,存储类型根据Bucket有五种,分别是标准储存,低频访问,归档存储,冷归档存储和深度冷归档存储,存储冗余类型分为本地冗余和同城冗余。


本地冗余指假如选择北京,数据只存在一个数据中心里边;如果是同城冗余,意味服务是跨数据中心运行的。


一个跨数据中心多一个对应存储服务,本地冗余存储是单数据中心,标准存储和低频访问以及归档存储都是支持同程冗余,这是对于可靠性要求极高的场景使用。


冷归档存储和深度冷归档存储是不支持开启同城冗余存储,异步冷的数据不要求online,只要保证数据的持久化,为降低成本,不做同城数据,一般情况下选择本地冗余。不选择冷归档存储和深度冷归档存储,选择标准存储,通过生命周期的方式去把数据转冷。

image.png

 

是否阻止公网访问

很多人由于创建可以公网访问的桶,AKSK或者账号被盗刷,其他人只要拿到AKSK,就可以在互联网上大规模访问你的桶,产生不必要的费用。建议打开阻止公共访问,读写权限默认是私有。如果选择公共读,可靠性或者安全性将降低。资源组是公司内部把每个业务用了哪些资源进行统计和分账,就要选择所属资源组进行分账。


Bucket的版本控制指文件可以有多个版本,例如写代码,写新代码提交上去后老版本是存在的,对象存储也提供版本管理,可以回归老版本。服务端加密方式、实时日志查询、定时备份、HDFS服务都是跟应用相关。

image.png

点击完成创建,可以看到自己创建的桶,地域和Bucket名称不支持更改。

image.png

2.上传文件

进入桶,上传文件有多种方式,控制台可以直接上传文件。例如上传图片成功,但这不是推荐的使用方式,更推荐使用api ,sdk或者工具去访问,它是对应用和业务使用的,不是个人网盘类的产品,对于控制台操作,只是帮助查看和管理使用辅助,并不推荐使用这种方法管理文件。一些控制操作需要通过这个操作,比如生命周期规则。

image.png

3.创建生命周期规则

首先点击具体的Bucket 下的生命周期规则。创建生命周期规则时,按照前缀或者整个桶来匹配,按照前缀是选择其中某个目录,按照整个桶就是选择整个桶实践。

image.png

按照前缀对某一目录进行操作,例如按照test目录,一般目录是后面加/前面不加/,若希望test目录下的a-dir子目录不操作,在NOT中将其排除。若在文件大小选项中指定最小文件期望是64KB以下的文件,因为产生容量放大反而不一定能节省费用。以上设置包括生命周期规则准备作用到的文件和作用的部分。

image.png


按照修改时间做是指文件创建和更新的时间,假设按照修改30天后,让数据进入归档存储,数据在执行过程中,每天就会执行生命周期规则,轮循所有文件的修改时间,当命中修改的规则,数据自动转换成归档储存。假设时间超过60天之后,数据转换成深度冷归档,系统有自动变化,时间默认设置200天,不建议这样设置。


因为只需要考虑数据在归档储存里的天数,可以根据自己需要,比如归档层要求60天,就只保存对最后一次修改时间60天之后的数据转换到深度冷归档储存,还有是在很长一段时间内需要归档直读,例如90天、3个月或者6个月,按照这个生命周期规则去设置,例如超过能归档存时间之后,无人访问,大多数人选择存储到深度冷归档。如果有人访问,把数据直接解冻并且把数据转成一个标准的数据。如果无人访问,超过一定时间,选择数据删掉。


那么最后一次修改时间多少天后把其删除?首先跟上面不能冲突,比如90天后删除,绝对不会到深度冷归档,要比深度冷归档的最后一次修改时间大,假设设置180天后,与上边最后一次修改时间重复,假如设置200天之后把数据删除掉,可以删除但会产生额外的费用,产生的费用就是180天后,进入了深度冷归档,在里边多存20天,到200天把数据删除掉,深度冷归档层要求数据存储至少180天,需要额外付出160天的费用,至少应该存360天才不会产生额外费用,这是比较匹配现在管理规则和商务规则的一个生命周期配置。


记住,第一删除数据是不可恢复的,一定要慎重。第二小文件可能会带来膨胀,所以小文件需要排除,其次冷归档和深度冷归档对存储时长有明确的要求,时长要求在这一层上存够足够的时间180天。在深度冷归档或者冷归档和下一个比它更冷的生成这一条规则之前,要充分考虑时间差。

image.png

点击确认,生命周期规则一栏产生生命周期规则,它会在24小时内被加载,48小时内会生效。之前创建一个按照修改时间的生命周期规则。

image.png

下面创建一个以访问数值为生命周期的规则功能。


以test1/为前缀,文件大小指定最小文件为64KB,开启访问追踪功能后,当前不收费。


点击开始,选择访问周期,这时候可以选择几种不同的类型,如果没有提交工单,可以看到四个选项,如果没有提交过工单,只能看见低频访问类型。两个低频访问的区别是一个数据被访问后,依旧停留在低频档,另一个数据一旦被访问,回到标准档,说明数据可能不会被访问,一旦被访问,会有频繁的访问,就回到标准档。如果数据的特征被访问次数可能会很多,大部分数据不会被访问或访问较少就不用转回标准档。最后一次访问时间设置为90天,把数据转到归档,再加上最后一次访问时间超过180天,把数据转到冷归档,当把所有东西都设置完会发现没办法设置删除,没有深度冷归档存储和数据删除,建议设置一个修改时间,例如超过360天把数据删除,访问时间和修改时间两者可以同时作用到一个规则。

image.png

假设把规则生效,生效的规则在后台是配置文件,配置文件里边前面和后边组合形成规则,所有的规则里面的每一条规则本质上都是并行的,都是用或的关系去执行。单个规则内部也可以设置冲突,冲突之后按照之前的规则操作,规则和规则之间也会有冲突,冲突之后按照最低成本的规则去操作。

image.png

以上为分享全部内容。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
2月前
|
运维 Serverless 数据处理
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
103 1
|
5月前
|
存储 数据管理 数据库
数据存储阶段,如何优化成本
【8月更文挑战第2天】数据存储阶段,如何优化成本
|
6月前
|
存储 运维 监控
云原生时代的数据存储与计算优化策略
【7月更文挑战第15天】在数字化转型的浪潮中,云原生技术成为企业创新和效率提升的关键。本文将探索如何通过云原生架构实现数据存储和计算的优化,旨在为开发者和企业决策者提供实用的指导和建议,以应对日益增长的数据挑战。
|
8月前
|
弹性计算 人工智能 调度
弹性调度助力企业灵活应对业务变化,高效管理云上资源
本文主要介绍了弹性调企业灵活应对企业业务变化,并高效管理云上资源。
145861 119
|
7月前
|
存储 编解码 数据挖掘
一篇文章掌握大厂成本优化框架
一篇文章掌握大厂成本优化框架
|
8月前
|
SQL 架构师 大数据
提升企业级数据处理效率!3.0 系列版本的四个集群优化点详解
为了帮助企业更好地进行大数据处理,我们在此前 TDengine 3.x 系列版本中进行了几项与集群相关的优化和新功能开发,本文将对这几项重要优化进行详细阐述。
124 0
|
存储 运维 容灾
带你读《多媒体行业质量成本优化及容灾方案白皮书》1. 成本优化概述
带你读《多媒体行业质量成本优化及容灾方案白皮书》1. 成本优化概述
415 0
|
存储 弹性计算 监控
构建高效的容量保障体系
性能测试体系建设的内容偏向技术实践,质量保障机制构建的文章又类似方法论,中间存在一定Gap。或者说在方法论和技术实践之间,我个人认为存在一个粘合的部分,能让其他人可循径前行落地的机制。
构建高效的容量保障体系
|
存储 运维 供应链
运维成本降低 50%,丽迅物流是如何应对大规模容器镜像管理挑战的
通过本文,丽迅物流运维总负责人阳磊分享了关于基于 ACR EE 加速企业业务云原生化进程的实践经验。
运维成本降低 50%,丽迅物流是如何应对大规模容器镜像管理挑战的
|
运维 监控 搜索推荐
阿里云林小平:如何实现资源高效运维及成本分析
通过标签功能进行资源运维及精细化的权限管理,实现高效能、低成本的目标。
阿里云林小平:如何实现资源高效运维及成本分析