3.2.1存储服务 亚马逊 AWS|学习笔记

简介: 快速学习3.2.1存储服务 亚马逊 AWS

开发者学堂课程【高校精品课-长安大学 -基于混合式教学的云计算课程建设3.2.1存储服务 亚马逊 AWS】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/1073/detail/15474


3.2.1存储服务 亚马逊 AWS


内容介绍:

一、AWS 存储服务

二、Amazon EBS

三、Amazon EFS

四、Amazon S3


一.AWS 存储服务

下面始学习 IAS 的存储服务。主要学习 AWS 的存储服务,阿里云的存储服务和 OpenStack 的存储服务。

首先来看 AWS 的存储服务。 AWS 的存储服务,包括三个部分,块存储 Amazon EBS (Elastic Block Store ),还有文件存储Amazon EFS(Elastic File System ),还有对象存储 Amazon S3(Simple Storage Service ),下面来分别看一下。


二.Amazon EBS

首先来看 EBS ,EBS 是亚马逊的 AWS 块存储。借助 EBS 可以创建单个存储卷并将它附加到 Amazon ec2 实例中,这个 EBS 它可以给这个实例提供数据块级的存储,而且它支持卷自动在它的可用区中可以进行复制,而且它还可以自动通过快照备份到 Amazon 的 S3 服务,也就是他的对象存储服务。

1.Amazon EBS- 卷类型

image.png

那么它的这些功能、用途,就包括它可以针对这个 EC2 实例来启动卷和存储;它具有文件系统的数据存储的这种特征;可以做数据库主机;可以做企业的应用程序的这种存储,因为它是一种块的存储。EBS 的卷的类型,这里分为两种,一种是存到固态驱动器 SSD ,一种是存在硬盘驱动器 HDD 。在这个 SSD 里分为通用型和预配置 IOPS 两种,在硬盘驱动器的这个类型里分为吞吐量优化型和冷数据类型两种。它们有相应的对应的应用场景,比如这个固态驱动器 SSD ,它的通用型可以用于大多数的工作负载;系统启动券;虚拟桌面;低延迟的交互式应用程序;开发与测试环境等等。那么像预置的 IOPS 这种,它可以用于需要持久不变的 IOPS 性能,而且对吞吐量要求比较高的业务应用程序,还有用于大型数据库的工作负载。对于这种硬盘驱动器的这种吞吐量优化型的,可以应用在一些需要稳定、快速且价格低廉的吞吐量的流式处理工作负载;要用在大数据;分析数据仓库;日志处理;不能用作启动卷。冷这种类型的,可以用在以吞吐量为导向的存储,用于不频繁访问的大量数据;存储成本必须降到最低的情景;不能用作启动卷。

2.Amazon EBS- 功能

EBS 的一些功能,包括快照加密和弹性。从快照方面,它可以支持时间点的快照,可以支持随时的重新创建新券。从加密放方面,它支持对 EBS 券进行加密,而且无需提供额外的成本。从弹性方面,它可以增加容量,也可以更改为不同的类型。比如,我可以将一个 HDD 更改为一个 SSD ,或者我从50 G 的卷扩大到一个 T 的券等等,这些都是它的弹性的功能所能够提供的支持。这里是一个这个 EBS 的操作演示。接下来,看一下亚马逊的 EFS。


三.Amazon EFS

EFS 是它的文件存储,叫弹性文件存储。 EFS ,它像完全托管的服务,提供一个简单可扩展的弹性文件存储。它可以和 AWS 服务和本地资源配合使用,提供一个简单的界面,让用户可以轻松快速的创建和配置文件系统。它也具有这种弹性的容量,可以按需的动态扩展,而且扩展的时候不会中断应用程序的运行。它的文件系统可以将数据的容量从 GPG 扩展到 PPG ,无需与之存储。这样的话,就可以构建一个 PPG 的低延迟的一个共享的文件系统。从它支持的文件系统接口来说,它支持网络文件系统( NFS )版本4.0和4.1(NFSv4)。所以它保有强的一致性,比如这些文件系统,它能够支持一个完整的文件系统的访问予以。那么这个 EFS ,它就适合作为这个大数据和分析、媒体处理工作流程、内容管理、 Web 服务和主目录构建这些。另外一个方面, EFS 与适用于 Amazon EC2 的所有的基于 Linux 的 AMI ,都是兼容的,所以它是可以适用很多的这种 Linux 的系统。

1.Amazon EFS 架构

下图是一个 EFS 的架构,在这个提供文件存储,就可以创建文件系统。那么就要在实例上挂载文件系统,然后,在文件系统中读取和写入数据,那么可以通过 NFS4.0 和 NFS4.1 ,在 VPC 里的可用区中挂载 EFS 。可以从 VPC 中的 EC2 的实例,同时访问 EFS 文件系统,那么在同一个 AWS 区域中的多个可用区运行的实例也可以访问这个文件系统,因为在不同的可用区都可以访问这个文件系统,从而来实现对 EFS 的访问和共享。

如图所示,有三个可用区,每个可用区都有一个创建的挂载目标,其中可用区 C 就有两个子网,但是这个挂载目标仅在其中的一个磁网中创建,那么可以通过这一两个磁网,磁网可以通过私有子网的挂载目标来实现对 EFS 的访问。

image.png

2.Amazon EFS 实施

EFS 怎么样来创建和使用。第一步,要创建 Amazon EC2 的资源并启动实例。第二步,创建 EFS 的文件系统。第三步,要在适当的子网中创建挂载目标。接下来,要把 EC2 实例连接到挂载目标。最后,我们要验证 AWS 的账户的资源和保护。有一个 EFS 的操作演示。


四.Amazon S3

1. S3 介绍

亚马逊的对象存储,也就是S3。它叫Simple story system Service ,即对象存储服务。 S3 ,它是一个对象级的存储,所谓对象级存储就意味着你要更改文件的一部分,必须先做出更改,然后重新上传修改后的文件。 S3 是将数据作为对象,存储在被称为存储桶的资源中。那么这个对象,它几乎可以是任何的数据、文件、图像、视频、日志等等,因为这个 S3 可以支持 TB 级的这种对象,它甚至可以将数据库也做个快照,存储成为对象。这个S3 它是一种托管的云存储的解决方案,它的设计就是以这个无缝扩展,而且可以提供11个9的这种持久性,就是99.9999999,99点的后面还有7个9。而且可以在里面存储几乎任意多的对象,还可以在存储桶中写入读取或者删除对象。

在这个 S3 中,它的存储桶的名称是一个通用的名称,并且在所有的现有存储桶的名称中,它必须是唯一的。在默认情况下,它的数据是以容余方式存储在多个设施中的,而且是每个设施中的多个设备中。在 S3 中存储的数据,它不会与任何一个特定的服务器相关联,也不必自己管理任何基础设施,只要将所要存入的数据存入到 FS3 就可以了。那么可以通过控制台、命令行界面,或者 SDK 来访问 S3 ,也可以使用基于 rest 的终端节点直接访问存储桶中的服务。 S3 还包含事件通知功能,能让用户设置在发生特定事件的时候,比如存储桶中上传对象,或者从特定的存储桶中删除对象,这时候它就可以自动发出通知。这些通知可以发送给用户,也可以触发其他的进程,比如 AWS 的 limt 函数(我们在后面服务器计算中会讲到)。

2.Amazon S3 存储桶 URL (两种样式)

S3 的存储桶的 URL 。它有两种方式,因为 S3 将数据存储在存储

桶中,所以存储桶实际上就是一组文件的前缀,它的名称必须在 S3

中保持全局唯一。存储桶,它是对象的一个逻辑容器,用户的账户中

可以拥有一个或多个存储桶,而且用户可以控制每个存储桶的权限,

还可以查看存储桶以及对象的访问日志,还可以选择 S3 存储桶及其

内容的地理区域。如果我们要上传数据,要在 AWS 区域中创建存储

桶,然后就可以将几乎任意数量的对象上传到存储桶中。

那么这个存储桶具有一个结构化的 URL ,可以使用两种不同的方式,

一种是存储桶路径式 URL 终端节点 :

https://s3.ap-northeast-1.amazonaws.com/bucket-name 

其中, ap-northeast-1 是它的区域代码, bucket-name 是存储

桶的名称。另外一种是存储桶虚拟托管式 URL 终端节点 :

https://bucket-name.s3-ap-northeast-1-amazonaws.com

其中,存储桶的名字放在前面,后面是区域代码。如上图,在这个事例中,使用了 S3 在东京区域创建的一个存储通,然后,我们的对象就存储在这个存储桶中。

image.png

3.Amazon S3 冗余存储和无缝扩展

image.png

S3 的冗余存储和无缝扩展。当在 S3 中创建存储桶的时候,它会与 AWS 的一个区域关联,那么将数据存储在存储桶中的时候,它会跨选定区域内的多个 AWS 设施(图中有三个),进行冗余存储。 AWS 的 S3 是持久的存储数据,即使在两个设施同时发生数据丢失的时候,数据还是能够保存。另外一个方面,当数据增长的时候,这个 S3 会自动的管理存储桶背后的存储,数据的存储空间会随着应用程序的需求一起增长。 S3 还可以扩展处理大量的请求,用户无需预知存储空间或者存储量,只需要为他的实际使用量付费就可以。

4.Amazon S3 常见使用案例

S3 常见的一些使用案例,比如这个存储应用程序的资产可以用来做静态 Web 的托管,可以做备份和灾难恢复( DR ),可以用于大数据的暂存区域等等,还有很多其他的应用场景可以使用。

相关实践学习
通义万相文本绘图与人像美化
本解决方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。
相关文章
|
运维 Devops 调度
DevOps-ChatBot:DevOps开源端到端智能AI助手
随着ChatGPT等通用大模型以及各类垂直领域大模型的出现,各个领域的产品交互模式、用户信息获取模式都在逐步发生改变。但通用大模型自身存在的生成内容不可靠、信息内容不及时、领域任务不完善的问题始终存在,面向DevOps这个对于事实的准确性、信息的及时性、问题的复杂性、数据的安全性要求都比较高的领域,大模型该如何赋能?为此,我们发起并开源DevOps-ChatBot端到端AI智能助手,专为软件开发的全生命周期而设计:通过DevOps垂类知识库 + 知识图谱增强 + SandBox执行环境等技术来保障生成内容的准确性、及时性并让用户交互修改代码编译执行,确保答案的可靠性;通过静态分析技术 + RA
958 1
DevOps-ChatBot:DevOps开源端到端智能AI助手
|
Linux 网络安全 Python
linux centos上安装python3.11.x详细完整教程
这篇文章提供了在CentOS系统上安装Python 3.11.x版本的详细步骤,包括下载、解压、安装依赖、编译配置、解决常见错误以及版本验证。
10483 3
linux centos上安装python3.11.x详细完整教程
|
5月前
|
监控 架构师 NoSQL
spring 状态机 的使用 + 原理 + 源码学习 (图解+秒懂+史上最全)
spring 状态机 的使用 + 原理 + 源码学习 (图解+秒懂+史上最全)
|
自然语言处理 网络安全 Python
【Python】已解决:nltk.download(‘punkt’) [nltk_data] Error loading punkt: [WinError 10060] [nltk_data]
【Python】已解决:nltk.download(‘punkt’) [nltk_data] Error loading punkt: [WinError 10060] [nltk_data]
3903 1
|
机器学习/深度学习 人工智能 分布式计算
人工智能与大数据的融合应用##
随着科技的快速发展,人工智能(AI)和大数据技术已经深刻地改变了我们的生活。本文将探讨人工智能与大数据的基本概念、发展历程及其在多个领域的融合应用。同时,还将讨论这些技术所带来的优势与挑战,并展望未来的发展趋势。希望通过这篇文章,读者能够对人工智能与大数据有更深入的理解,并思考其对未来社会的影响。 ##
讲真的,遇到接口自协商故障,可以试着这样处理!
讲真的,遇到接口自协商故障,可以试着这样处理!
649 1
|
中间件 API 开发者
深入理解Python Web框架:中间件的工作原理与应用策略
【7月更文挑战第19天】Python Web中间件摘要:**中间件是扩展框架功能的关键组件,它拦截并处理请求与响应。在Flask中,通过`before_request`和`after_request`装饰器模拟中间件行为;Django则有官方中间件系统,需实现如`process_request`和`process_response`等方法。中间件用于日志、验证等场景,但应考虑性能、执行顺序、错误处理和代码可维护性。
293 0
|
机器学习/深度学习 人工智能 运维
阿里云ACA、ACP、ACE考试介绍及报名入口汇总
阿里云针对不同产品类别、用户成长阶段、生态岗位,精心打造不同的认证考试。包含ACA、ACP、ACE等不同不同级别的技能认证,个人:证明您在对应技术领域的专业度,能够基于阿里云产品解决实际问题。获得更多阿里云生态下的就业机会。 公司:通过阿里云认证培养、挖掘专业人才,提升公司的云上技术能力。获得更多阿里云生态项目商机。
5196 0
阿里云ACA、ACP、ACE考试介绍及报名入口汇总
|
存储 Kubernetes 应用服务中间件
使用CoreOS来部署一个Kubernetes集群,包括必要的步骤和关键概念
使用kubeadm join命令将其他CoreOS节点加入Kubernetes集群。在每个节点上运行以下命令,其中<控制平面节点IP>是Kubernetes控制平面节点的IP地址,<令牌>是在初始化控制平面时生成的令牌。
469 0
|
人工智能 大数据 物联网
阿里云acp报名入口、时间、条件是怎样的?考试需要多久
说起阿里云考试,相信大家是最熟悉不过小,就拿这几年最受大家所欢迎的阿里云acp认证考试来说吧,这个考试的含金量比较高,那么,阿里云acp报名入口、时间、条件是怎样的呢?阿里云apc考试需要多久?接下来就让认证大使来告诉大家相关内容。
1473 0
阿里云acp报名入口、时间、条件是怎样的?考试需要多久