阿里云ACP云计算备考笔记 (3)——云存储RDS

目录

第一章 云存储概览

1、云存储通用知识

① 发展历史

② 云存储的优势

2、云存储分类

3、文件存储业务场景

第二章 块存储

1、块存储分类

2、云盘的优势

3、创建云盘

4、管理数据盘

① 格式化数据盘

② 挂载数据盘

③ 通过 API 挂载云盘

5、管理系统盘

① 更换系统盘

② 扩容系统盘

③ 更换前置条件

④ 更换系统盘后操作

⑤ 初始化系统盘

⑥ 释放云盘

第三章 对象存储OSS

1、OSS工作原理

2、相关概念

① 存储空间

② 对象

③ 对象名称

④ 对外访问域名

⑤ 访问密钥

⑥ 地域

⑦ 强一致性

⑧ 数据冗余机制

3、优势

4、管理OSS

5、应用场景

5、OSS存储类型

① 类型分类

② 存储类型转换

(1) 基于最后一次修改时间转换

(2) 基于最后一次访问时间转换

③ 最短存储周期

6、存储空间详细说明

① Bucket 定义

② 通过云存储网关挂载OSS

③ 使用限制

7、对象/文件 Object 详细说明

① 对象特性

② 管理对象

③ 上传对象

④ 下载对象

⑤ 拷贝对象

⑥ 删除对象

8、图片处理

① 处理图片方式

② 管道/频道

③ 使用限制

④ 原图保护

⑤ 图片处理持久化

9、数据安全

① 访问控制

② 鉴权

③ 读写权限

④ 临时STS访问凭证

⑤ 设置权限优化方案

⑥ 数据加密方式

⑦ 版本控制

⑧ 合规保留策略

⑨ 防盗链

10、综合实践

① 访问 OSS

② 固定IP访问OSS

③ 自定义域名访问文件

④ WEB上传

⑤ 静态网站托管

⑥ 日志转存

⑦ 日志查询

11、计费

① 请求者付费模式

② 降低费用方案

第四章 云数据库 RDS

1、数据库通用知识

2、传统数据库对比云数据库

3、RDS定位

4、优势

5、实例的系列

6、规格族

7、存储类型

8、只读实例

9、数据库安全

① 数据库审计

② SQL洞察和审计

10、数据库备份

① 数据备份

② 日志备份

③ 备份的存放位置

11、数据库恢复

① 按备份恢复

② 按时间点恢复

---

第一章 云存储概览

1、云存储通用知识

① 发展历史

        直连存储 -》存储网络-》分布式云存储

② 云存储的优势

        超大规模

        高可扩展性

        高可靠和高可用

        按需服务

        透明服务

        易于管理维护

        并非共享存储而是分布式私有存储

2、云存储分类

        块存储：使用时文件系统在客户端，读写快但是扩展性差，不易于分享。

        文件存储：存储端前置多一个文件系统，通过调度文件来访问数据，易于共享但是读写慢。

        对象存储：采用二层结构，将文件资源作为对象存储。读写快。易于共享。扩展性强。同步效率低，不适合做数据库。

3、文件存储业务场景

        通用型NAS：企业应用、容器、数据库备份、日志数据等通用类文件共享业务。

        极速型NAS：高时效的应用、CI/CD开发环境、高性能应用、在线服务。

        文件存储CPFS：HPC高性能计算、AI训练、自动驾驶、基因计算、海量文件IO密集型业务。

第二章 块存储

1、块存储分类

        按存储内容分类：系统盘和数据盘

        按架构和性能分类：ESSD超高性能云盘、SSD云盘、高效云盘、普通云盘、本地盘

2、云盘的优势

        读写稳定：三副本机制分布式保存，可靠稳定。

        主动备份：可以设置定期创建快照，确认数据安全。

        数据擦除机制：已经删除的数据在云存储中就是彻底删除了，别人无法访问。

        数据加密：实例和云盘之间数据传输可以使用加密型存储来保证数据不泄露。

        单块云盘最大支持 32768G 存储空间。

3、创建云盘

        随实例创建云盘，Linux系统增加数据盘，对数据盘多分区配置，要先格式化再挂载数据盘；Windows增加数据盘不需要任何操作，但是如果处于运行中也是需要格式化再挂载的。

        单独创建云盘，选择是否挂载、地域以及可用区、付费方式、云盘类型、数量

4、管理数据盘

① 格式化数据盘

        使用GPT分区，支持2TB以上，可创建分区数量无限。

        使用MBR分区，不支持2TB以上，最多分区4个。

② 挂载数据盘

        xvda是系统盘，xcdb/c/d...是数据盘

        被挂载的实例和云盘必须是相同地域和可用区。

        被挂载的实例必须是运行中或者已停止。

        阿里云账号不能欠费。

        如果出现自动快照会随着云盘释放而自动释放。

③ 通过 API 挂载云盘

5、管理系统盘

① 更换系统盘

        更换操作系统、磁盘IP变更，但是云盘类型/实例IP/弹性网卡MAC地址不变。

② 扩容系统盘

        在更换系统盘的基础上扩大系统盘容量，但是文件系统不会扩容。

③ 更换前置条件

        旧磁盘会被释放，需要提前做好备份

        实例要是已停止状态，按量付费的需要是普通停机类型。

④ 更换系统盘后操作

        需要重新部署业务系统运行环境

        可能影响业务运行，可以通过使用SMC迁移工具迁移。

        旧系统的快照不能用回滚的方式回滚新系统，可以使用自定义镜像

        手动创建的快照不会被释放；自动创建的快照会自动删除。

        不同的操作系统互换，磁盘格式可能互相不支持，需要安装软件识别。

        windows扩容后可用空间百分比反而小了，可能是虚拟内存开启了。

        centos8报错 xfs_growfs:is not a mounted XFS filesystem，是命令问题，新版的命令后面的参数是文件系统的挂载点而非文件系统本身。

⑤ 初始化系统盘

        恢复到创建时的状态。

        应用和数据都没了。

        必须要有快照，必须先停止实例，ESSD的话不能开启极速可用功能，如果使用了SSH密钥对，必须创建有密钥对。

        自动快照策略还会保留。

        实例IP和云盘ID都不变。

        不会删除快照，可以使用快照恢复。

⑥ 释放云盘

        可以手动释放，数据会全部释放，并停止收费。

        默认是随实例释放而释放，可以关闭随动设置，前提是云盘是待挂载状态。

第三章 对象存储OSS

        OSS是一种海量、安全、低成本、高可用的云存储服务、容量和处理能力都具备弹性、有多种非结构化存储类型，覆盖冷热存储场景。

1、OSS工作原理

        数据以对象的形式存储在OSS的存储空间-Bucket；所以需要先创建Bucket，并指定 Bucket 的地域、访问权限、存储类型；存储的文件以文件名Key作为唯一标识。

        OSS以 HTTP RESTful API 对外提供服务，访问不同的地域需要不同的地域名；要需要访问密码；

        操作具有原子性和强一致性。

2、相关概念

① 存储空间

        存储空间是用于保存对象的容器；所有对象必须隶属于存储空间；具有各种配置属性：地域、访问权限、存储类型等。

② 对象

        存储数据的基本单元，没有目录层级结构；由元信息、用户数据、文件名(Key)组成；元信息是一组键值对标识一些属性比如创建人创建时间等等。

③ 对象名称

        在各语言SDK中，ObjectKey、Key、ObjectName都是一个概念，都标识对象执行的需要携带的信息。

④ 对外访问域名

        访问不同的地域有不同的域名；

        内网和外网访问也有不同的域名；外网：oss-cn-shanghai.aliyuncs.com；内网：oss-cn-shanghai-internal.aliyuncs.com；

⑤ 访问密钥

        AccessKey ID/Secret，对称加密，必须保密；

⑥ 地域

        数据中心所在的物理位置，一般来说约近访问越快。

⑦ 强一致性

        操作具有原子性，要么成功要么失败，不存在中间态。一个文件不会只有一半的。

        操作具有强一致性，上传删除都是马上生效，不需要等待上传或者删除。

⑧ 数据冗余机制

        基于纠错码，多副本的数据冗余机制。将数据存储在同一个区域的多设施的多设备上。支持两个存储设施并发损坏时，数据仍不丢失。计算流量包数据和保证数据传输完整性。

        定期检测文件，发现文件损坏的话，重新冗余。

3、优势

4、管理OSS

        控制台管理；

        API管理；

        图形化工具 ossbrowser 、命令行工具 ossutil 、FTP工具 ossftp 、bucket挂载工具 ossfs等工具管理；

        云存储网关管理，可以将扁平化数据目录化管理，网关可以实现这个功能。

5、应用场景

5、OSS存储类型

① 类型分类

        标准类型：移动应用、网站里的图片、音频、视频，最贵

        低频类型：较低访问频次的数据，最低存储时间为30天，平均每月访问1-2次

        归档：需要长期保存的数据，1分钟恢复，60天

        冷归档：长期保存的不访问数据，180天，最便宜

说明：本地冗余是指同VPC；同城冗余是同地域不同VPC

② 存储类型转换

        可以通过生命周期规则或者CopyObject方式转换文件。

        OSS生命周期提供Object Transition机制，支持自动转换文件类型。

        转换规则：频率高的只能向下转换。

(1) 基于最后一次修改时间转换

        Bucket 同时配置了所有转换配置，那么转换周期必须满足：转换成低频周期<转换成归档<转成冷归档周期。

(2) 基于最后一次访问时间转换

        可以支持从标准转成低频，可以选择当被访问时是否自动转回普通。

③ 最短存储周期

        如果未达到指定周期，会收取存储不足费用。

        生命周期方式修改类型不会重启存储时间。

        通过 CopyObject方式 手动修改类型会重启存储时间。

6、存储空间详细说明

① Bucket 定义

        上传数据之前需要在OSS所支持的地域创建存储空间 Bucket，然后数据就可以无限的上传进去了。

        内部是扁平的，没有文件目录概念；

        Bucket名称在OSS范围内是唯一的，创建后不可修改，命名规则和域名类似，只能由小写字母、数字开头和结尾；内容可以有短划线；长度3-36字符；

② 通过云存储网关挂载OSS

        当开通了云存储网关，并授予了访问OSS、ECS、VPC的访问权限；创建了和目标Bucket同地域的VPC&交换机；同地域的ECS；就可以将Bucket的对象结构和NAS文件系统目录/文件体系映射了，就可以实现目录级别使用了。

        块网关在OSS中创建存储卷，提供小型计算机系统接口 iSCSI 协议访问。

③ 使用限制

        同一个账号同一个地域最多创建100个存储空间；

        名称全局唯一；

        名称、地域、类型、冗余类型不允许修改；

        单个空间不限制容量

7、对象/文件 Object 详细说明

① 对象特性

        上传完成后不支持修改，但是可以覆盖；

        没有目录层级结构，可以通过命名假装层级关系；

        命名长度 1-1023 字符，不能以正斜杠和反斜杠开头；

        单文件最大支持 48.8T；

② 管理对象

        少量或者小文件建议使用控制台的易操作的可视化界面通过表单上传方式上传。

        通过API或者SDK管理；

        通过管理工具：可视化工具ossbrowser、命令行工具 ossutil、FTP工具 ossftp；

        通过云存储网关管理：映射为文件系统，但是效率低，不建议，尽量只做写新文件、删除文件、读取文件，优先操作海量非结构数据。

③ 上传对象

        简单上传：适合小文件，不超过5G，使用PUT或者POST都可以，单个文件按上传的时候，支持设置元信息。

        追加上传：适合小文件，是 Appendable 类型；

        表单上传：html表单上传，小文件，网页应用常用，需要验签保证合法性；

        分片上传：大文件先切片，文件片可碎片化管理，支持断点上传，小片文件最大500M，

        断点续传：可以通过断点记录点 CheckPoint 文件续传，传输过程中奔溃，记录文件将会更新断点。适合大文件、支持并发、断点续传、自定义分片大小、最大不超过48.8T；

④ 下载对象

        通过 GetObject 下载文件，前提是有读权限。

⑤ 拷贝对象

        通过 CopyObject 复制 同存储空间，或者同地域的不同存储空间之间拷贝文件；发送的是put请求，请求头里添加x-oss-copy-source 指定源文件。

⑥ 删除对象

        通过 DeleteObject 实现单个删除；

        通过生命周期规则批量删除：

8、图片处理

        支持海量数据处理、可靠性高；

        包含图片处理费用、请求费用、流量费用；

        常见功能：获取图片信息、图片格式转换、图片缩放裁剪旋转，图片添加文字、图片、图文混合、自定义图片片处理样式、通过管道顺序调用多种图片处理功能。

① 处理图片方式

        为图片 URL 田家庵参数完成单次处理，多个处理参数以正斜杠 / 连接；

        使用API处理图片；

        使用 OSS 的 SDK 处理图片；

        使用图片样式对不同的图片进行相同处理；

② 管道/频道

        是命名空间，是计费、权限控制、日志记录等高级功能；

        全局唯一性，不可修改；

        每个管道支持最大2 PB，每个用户最大创建10个管道。管道里的对象数量没有限制。

        管道和储存空间对应，只能创建和存储空间同名的管道。

③ 使用限制

        处理的图片一定是 OSS里的；

        图片格式只支持常规的：JPG、PNG、GIF、WebP、TIFF

        原图大小不能超过20MB；

        除图片旋转对那个的原图高度不能超过 4096px，其他图片操作对应的原图高或者宽不能超过30000px，总像素不能超过2.5亿px；

        缩放后限制宽和高 16384 px；

        仅支持对动图缩放、裁剪、旋转、以及添加水印；

        每个存储空间最多50个样式；

④ 原图保护

        开启之后防止匿名用户访问；

        CDN访问会保护失效；

        匿名访问可以通过带有样式参数和签名验证来访问；

⑤ 图片处理持久化

        添加转存参数，可以将处理后的图片保存到指定的存储空间；

        URL方式处理的图片不知道持久化需要下载下来，自己再上传；

        要有存储空间的读写权限；

        要是同一账号的同一地域才能操作。

9、数据安全

① 访问控制

② 鉴权

        默认情况下为了安全性，资源默认为私有权限，只有资源拥有者或者被授权的用户才能访问。

        请求类型分为匿名请求和非匿名请求，在请求头放用户信息。非匿名请求需要校验身份、存储空间验证、对象ACL、存储空间ACL；

③ 读写权限

        可以随时修改配置ACL；

        对象权限最高，如果没有则继承存储空间的权限设置；

        公共读写、公共读/私有写、私有读写

        安全考虑，临时密钥对的保持时间是18个小时。RAM子账号以及sts账号最长有效期是1小时。

④ 临时STS访问凭证

        通过STS服务发放的临时凭证，可以避免暴露长期密码。

⑤ 设置权限优化方案

        一个应用一个存储空间，比如管理混乱；

        多环境不同的存储空间；

        应用需要设置明确的读和写的权限隔离；

        设置访问时间管控，不能一直可以访问；

⑥ 数据加密方式

⑦ 版本控制

        同名文件覆盖后，通过版本控制，保存下来历史版本。

        新建的时候指定是否开启，之后不能变更；

        三个状态：未开启、已开启、暂停

        同一个存储空间，版本控制和合规保留策略无法同时设置；

⑧ 合规保留策略

        不可删除、不可篡改方式保存数据，符合SEC和FINRA 的合规要求。

        存储空间级别的；

        允许一条；

        可以设置基于时间的保留策略。

⑨ 防盗链

        设置防盗链，即通过对访问设置白名单避免资源被人盗用。

        原理：请求头 Referer 白名单，限制仅白名单可访问

        仅当通过签名或者匿名访问时，开启防盗链。

        有Authorization不拦截。

        匹配规则：

                白名单为空，所有都允许

                Referer不为空，且不允许为空，只有白名单放行

                Referer不为空，且允许为空，空和白名单都允许放行

        支持通配符，* 标识0或者多个字符，？号标识1个字符。

10、综合实践

① 访问 OSS

        内外网访问，同地域内网互联，跨地域内网不互通

        内网地址：存储空间名-oss-cn-shanghai.aliyuncs.com

        外网地址：存储空间名-oss-cn-shanghai-internal.aliyuncs.com

        通过ECS访问OSS不收费；同地域直接访问，不同地域配置ECS反向代理间接访问。

② 固定IP访问OSS

        由于OSS的存储空间的IP是经常变化的，应用的访问限制希望不经常变更，所以需要固定OSS的访问IP，可以通过ECS的反向代理，实现固定IP，访问的时候先经过ECS代理到OSS。

③ 自定义域名访问文件

        自定义域名必须预案，绑定传输加速域名才能支持oss的传输加速功能，托管证书支持https，在OSS控制台可以选择自动添加或者修改域名的CNAME记录。仅支持三级域名访问方式绑定可以解决带参数文件打开问题。

        将自定义域名绑定到文件所在的存储空间。

④ WEB上传

⑤ 静态网站托管

        如果网页全是静态的，托管到OSS，使用存储空间的域名或者自定义域名访问web。

        如果托管的是https，需要托管ssl证书。

        2018年开始，网页资源通过默认域名访问不会显示而是下载，自定义域名可以预览。

        需要默认首页和404页，并且需要赋予匿名访问权限。

        删除文件就删除网站了，同时需要删除首页和404页。

⑥ 日志转存

        访问资源时，会产生访问日志。开启日志转存功能，会每小时，固定命名规则保存到存储空间。同账号同地域存储空间里保存即可。

        命名有规则，就可以通过生命周期规则批量删除日志。基于最后一次修改实践的生命周期规则。

⑦ 日志查询

        OSS和日志服务SLS结合提供访问日志审计，3分钟内推送到日志服务。免费提供7天的日志查询。

11、计费

        计费周期：小时单位

        资源包最终呈现还是按量付费

        资源包抵扣顺序：地域存储包-大陆通用存储包-SCU-按量付费

        请求者付费模式：请求的人付费请求流量，存储费用由资源拥有者付费

        增值服务需要收费：安全，数据处理，打标签等等

① 请求者付费模式

        常用于大型共享数据集，开启公共读，然后开启请求者付费模式。

        也可用于将数据缴费给客户或者合作伙伴。

② 降低费用方案

第四章 云数据库 RDS

1、数据库通用知识

        按照数据结构来组织，保存和管理数据的仓库。

2、传统数据库对比云数据库

3、RDS定位

        阿里云关系型数据库，稳定可靠，可弹性伸缩。

        基于阿里云分布式文件系统和SSD高速盘。

        支持 Mysql、SQL server、PostgreSQL、MariaDB Tx引擎。

        具备容灾、备份、恢复、监控、迁移等全面的云服务。

4、优势

5、实例的系列

        基础版、高可用版、集群版、三节点企业版

6、规格族

        共享规格：性价比

        通用规格：稳定性较低

        独享规格：数据库要求核心系统

7、存储类型

        本地SSD：一主一备

        云SSD和ESSD：分布式云盘

8、只读实例

        从备实例复制数据，数据和主实例保持一致，默认立刻复制数据，可以设置延时复制。只能从主实例创建读实例，不能将已有实例转换成读实例。

        读实例和主实例必须在同一个地域，但是可以在不同可用区。灾备实例可以在不同地域。

        读实例最多创建10个。

9、数据库安全

① 数据库审计

        主动、实时、监控数据库安全的审计产品。RDS、ECS自建数据库、NoSQL数据库都是可以纳入监控体系，提供安全诊断，维护管理。

        针对sql注入，风险操作等高位行为进行记录和报警。

        用于等保合规审计、审计数据保存期限要求、实时监控能力、记录分析追查、危险事件和不安全操作、发现程序后门，实时告警能力。

② SQL洞察和审计

        sql语句导出以及各种数据信息

        对 SQL进行健康诊断，性能问题排查，业务流量分析

        可自动识别高危sql、sql注入、新增访问来源风险

        流量回放和压测能力

10、数据库备份

① 数据备份

        对数据进行备份，根据备份数据恢复

        强制要求备份，每周不少于2次备份

        可以通过控制台或者API发起临时备份，备份数据可以在7-730天

② 日志备份

        是一种增量备份，开启之后日志会上传。

        数据备份+日志备份可以恢复任何数据

        日志备份是可选的

③ 备份的存放位置

        由阿里云提供，不占用实例的存储空间。

        地域和实例相同；可用户不一定一致；

        备份空间不对外开放。

        有免费额度，但是超额要收费。

11、数据库恢复

① 按备份恢复

        指定备份集，先恢复到临时实例或者克隆实例，检查数据，然后恢复到生产

② 按时间点恢复

        指定时间点，系统会根据全量数据+时间点之前的日志备份恢复到临时实例或者克隆实例中，先检查数据，再恢复到生产。