为什么重复数据删除对于云存储而言如此重要?

简介:
  【51CTO.com快译】大多数人认为云存储服务较实体存储更便宜。毕竟大家可以根据性能与访问需求以每TB每年276美元甚至更低的价格租用存储资源。相比之下,企业数据仓库的每TB每年使用成本一般在2500美元到4000美元之间。

然而除了一级数据之外,大家还需要在云环境下对数据进行备份或者副本保存,这无疑会令资源使用支出大幅提升。设想一下,若企业需要以三年为周期每月保留100 TB备份数据,则其原始备份数据约等于3.6 PB,每月支出将超过83000美元。而且这还不算数据访问以及检索带来的成本。

正因为如此,高效的重复数据删除技术对于内部及云存储体系皆极为重要,特别是在企业需要长期保留其归档数据的情况下。事实证明,如果无法进行重复数据删除处理,云环境下的存储资源使用成本将迅速提升至无法接受的水平。

云存储

云存储的承诺:成本低廉、可扩展、永远可用

云存储一直被视为一种廉价、可靠且能够无限扩展的资源——事实也基本就是如此。AWS S3等对象存储服务每月每TB的标准层使用成本仅为23美元,连续访问层则为每TB 12.5美元。众多现代应用已经能够发挥对象存储的既有优势。云服务供应商提供自己的文件或者块存储选项,例如AWS EBS每月每TB块存储资源成本为100美元,且可按小时计费。亦有不少第三方方案可作为后端用于将传统文件或块存储同对象存储系统对接。

即使是每年每TB 1200美元的AWS EBS,其使用成本也仅为内部解决方案的二分之一到三分之一,而且后者还需要更高昂的前期投入。正因为如此,企业纷纷选择云存储以降低运营成本及前期投入,且享受由此带来的按使用量计费收益(而非像传统方案那样购置远超实际需求的资源容量)。

云存储成本的爆表之路:无穷无尽的副本

云存储与传统内部存储间的成本差异在于,前者的成本要素更为分散。云存储的成本要素主要包括

1)一级数据存储成本,包括对象或者块存储。

2)副本、快照、备份或数据归档的成本。

3)数据传输成本。

第一项之前已经讨论过了,下面看看后两项。

数据副本。这与您存储在云内的具体数据量无关——上传数据并不收费,而且存储单一副本也用不了多少投入。最可怕的是保存多份数据副本——包括备份、归档或者其它需求——这会在不经意间带来可怕的支出。即使大家并未主动进行数据复制,应用程序或数据库的内置数据冗余与数据复制功能亦会默认扩大资源需求。

在云环境中,每套副本都会产生与原始对象相同的成本。虽然云供应商可能会在后台进行重复数据删除或压缩,但这种情况并不常见。以消费级云存储服务Dropbox为例,复制十套文件副本即会占用十倍的存储配额。

对企业而言,这意味着快照、备份与归档数据都会产生额外费用。举例来说,AWS EBS的每月存储快照成本为每GB 0.05美元。虽然快照会进行压缩并仅存储增量数据,但由于不具备重复数据删除机制,100 TB数据集的快照每年需要花费60000美元。

数据访问。公有云供应商通常会向不同云服务区或者云外部间的数据传输收费。例如在不同Amazon服务区间移动或复制1 TB的AWS S3数据会带来20美元成本,而将其移动至互联网的成本则为90美元。事实上,GET、PUT、POST、LIST以及DELETE等请求都会产生对应的数据访问成本。

重复数据删除对于云存储的重要意义

云应用在设计上具备分布式特性,且标准部署在非关系型大规模可扩展数据库内。在非关系型数据库中,即使不进行复制,大多数数据仍然属于冗余信息。以MongoDB或者Cassandra为例,其复制因子为3,意味着为了确保数据完整性,其会在分布式集群中保留3份副本。

备份或者次级副本通常由快照进行创建及维护。数据库体系结构决定当我们保存快照时,实际上同时也制作出了三份副本。

不仅是重复数据删除——还有重复语义删除

大多数重复数据删除技术作用于存储层,即对数据块进行重复删除。这种作法对于SAN或NAS等集中式存储非常有效,但却不太适用于MongoDB等分布式数据库的数据层。在这一领域,重复删除技术需要解决两大基本问题:

1)需要立足数据层起效,而非存储层。为了在分布式集群中实现重复数据删除,软件需要理解并解释底层数据结构。

2)需要抢在冗余数据被写入数据库前将其清除。一旦数据写入,则会在集群内进行复制,这意味着必须利用实时重复数据删除方可解决。

 
  作者:核子可乐
 
来源:51CTO
相关实践学习
块存储快速入门
块存储是阿里云为云服务器ECS提供的块设备产品。通过体验挂载数据盘、分区格式化数据盘(Linux)、创建云盘快照、重新初始化数据盘、使用快照回滚云盘和卸载数据盘等功能,带您快速入门块存储。
目录
相关文章
表格存储表删除后重建,为什么会占用空间
表格存储表删除后重建,为什么会占用空间
102 3
|
7月前
|
数据采集 SQL 监控
如何分析重复数据?
【4月更文挑战第2天】如何分析重复数据?
90 2
|
6月前
|
机器学习/深度学习 分布式计算 大数据
MaxCompute产品使用问题之删除了某个分区的数据,如何找回
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
7月前
|
存储 数据挖掘 索引
NetApp数据恢复—NetApp存储误删除数据的数据恢复案例
某公司NetApp存储设备,人为误操作导致NetApp存储内部分重要数据被删除,该NetApp存储采用WAFL文件系统,底层是由多块硬盘组成的raid阵列。
NetApp数据恢复—NetApp存储误删除数据的数据恢复案例
|
6月前
|
存储 数据管理
云存储中的数据去重技术
【6月更文挑战第3天】数据去重技术是云存储的高效助手,能消除重复数据,优化存储空间,提升数据管理效率。通过示例代码展示了其基本原理,将重复元素移除,实现数据唯一性。随着技术发展,它能更精准识别相似数据,使云存储更有序,便于数据检索。数据去重技术对节省资源和提升数字生活质量具有重要意义。
133 2
|
SQL 索引
加唯一索引时候发现已有重复数据删除
加唯一索引时候发现已有重复数据删除
45 1