云数据库（林子雨慕课课程）

6.云数据库

6.1 云数据库概述

• 云计算概念：通过网络以服务的方式为用户提供非常廉价的IT资源

  

• 云计算的八大优势

  • 按需服务

  • 随时服务

  • 通用性：满足各种不同类型的用户需求

  • 高可靠性：集群出现故障，通过备份机迅速提供服务

  • 极其廉价：只需要开通云计算服务，按照实际情况付费

  • 超大规模：云计算底层聚集大量的基础设施

  • 虚拟化技术：将底层资源统一放到资源池中去，进行统一调配和使用

    

  • 可扩展性强

• 云数据库继承云计算相关特点

  • 非常廉价
  • 可扩展性、可靠性

• 云数据库优点：

  • 动态可扩展
  • 高可用性：可以保证不间断服务
  • 较低的使用代价：
  • 易用性
  • 免维护特性
  • 高性能
  • 安全：有安全保障团队保障其安全性

• 腾讯云数据库和自建数据库比较

  

• 个性化存储需求

  • 通过云数据库满足大企业海量数据的存储需求

    

  • 通过云数据库的投入成本低，降低中小企业的数据库投入成本

    

  • 满足企业动态的存储需求

    

• 云数据库和其他数据库的关系

  • 数据模型角度

    

  • 云数据库产品

    

  • 云数据库一部分采用SQL存储，一部分采用NoSQL存储

    

6.2 云数据库产品

服务：通过网络以服务的方式来获得

• Amazon:提供了相关的云数据库服务

  • 亚马逊RDS:提供云上的关系型数据库
  • SimpleDB：在云中提供键值数据库
  • DynamoDB：在云中提供NoSQL数据库
  • Amazon ElastiCache:分布式内存缓存服务

• Google:Google Cloud SQL

  

  • 谷歌还提供带JDBC和DB-API支持的传统MYSQL数据库环境

  • 谷歌Cloud SQL优势：和Google APP Engine集成的

    

• 微软Microsoft-> Miscrosoft SQL Azure(基于关系型数据库)

  

6.3 UMP系统

6.3.1 UMP系统概述

• UMP:Unified MYSQL Platform

  

• UMP突出特性：

  • 低成本，高性能
  • 开源数据库

• UMP在设计时要实现以下原则

  • 整个系统保持单一的对外访问入口

  • 消除单点故障，保持服务的高可用性（设置多个Controller）

  • 具有良好的可伸缩性，能够动态的增加、减少计算资源

  • 可以实现资源之间的相互隔离

    • 云数据库是多租户：一个服务部署在云端需要满足多个租户的需求

      

    • 多租户带来问题？

      • 可能会出现某个用户消耗的资源过多
      • 可能会影响其他用户相关的应用程序执行

6.3.2 UMP系统架构

• UMP系统的整体架构

  

• UMP系统中的各个角色和组件

  • Mnesia

    • 是一个分布式数据库管理系统

    • 支持事务，支持透明的数据分片，利用两阶段锁会实现分布式事务，可以线性扩展到至少50个节点

    • Mnesia的数据库模式（schema）可在运行时动态重配置

      

    • Mnesia系统的特性优良，因此阿里巴巴将其纳入UMP系统的开发框架中

  • RabbitMQ:工业级的消息队列产品

    • 通过消息队列实现各个组件之间的异步信息传递

      

    • 消息队列传递消息方式

      

  • Zookeeper:提供高效协调服务

    • 统一命名服务、状态同步服务、集群管理、分布式锁
    • 在UMP系统中Zookeeper主要发挥的三个作用
      • 作为全局的配置服务器，很多服务器需要相同的配置文件，一旦一个服务器配置文件修改，会被zookeeper监听到，并通知其他服务器修改
      • 提供分布式锁（选出一个集群的“总管”）：多个controller服务器中由zookeeper选出主管服务器
      • 监控所有MYSQL实例的正常运行：一旦监听到故障，zookeeper能够及时探测到，并启用其他备份

  • LVS Linux Virtual Server:Linux 虚拟服务器集群系统

    • UMP系统借助LVS实现集群内部的负载均衡
    • LVS集群采用IP负载均衡技术和基于内容的请求分发技术
    • 调度器是LVS集群系统的唯一入口点：调度器可以接受用户请求，并均匀分发到集群内部不同的服务器节点上去，实现负载均衡，且集群内部有服务器发生故障，其可以自动将其屏蔽
    • 整个服务器集群的结构对客户是透明的

  • Controller服务器：UMP集群的总管

    • 集群成员的管理

    • 元数据的存储

    • MYSQL实例管理

    • 故障恢复

    • 备份迁移扩容

    • Controller服务器上运行了一组Mnesia分布式数据库服务

      • 集群成员、用户的配置和状态信息、“路由表”

    • 为了避免单点故障

      

  • Web控制台：帮助用户提供系统关系界面

    

  • Proxy服务器：向用户提供访问Mysql数据库的服务

    • 使用MySQL数据库时下载客户端，连接MySQL服务器

      

  • Agent服务器：部署运行MySQL进程的机器上，用来管理每台物理机上的MySQL实例

    

  • 日志分析服务器：对整个日志进行分析

    • 分析一些较长查询的原因

      

  • 信息统计服务器：记录系统运营数据

    

  • 愚公系统：数据迁移

    • 系统允许在不停机的情况下，可以实现动态的扩容、缩容、迁移

6.3.3 UMP系统功能

• 容灾：是云数据库必须要具备的基础功能

  • 主库和从库的状态由Zookeeper负责维护

  

  • 主库发生故障时，如何进行主从切换？

    

  • 如何进行主库的恢复

    

• 读写分离：充分利用主从库实现用户读写操作的分离，实现负载均衡

  

• 分库分表：UMP支持对用户透明的分库分表

  • 采用分库分表后，一个sql语句的表可能已经被分为多个子表，此时系统处理用户查询的过程如下：

    

• 资源管理：采用资源池机制对所有资源进行管理

  

  • 具体MySQL实例的资源分配过程：

    

• 资源调度：

  • UMP系统中有三种用户：数据量、流量都非常小；中等规模用户、数据量非常大需要进行分库分表

    

• 资源隔离：UMP采用两种资源隔离方式

  

• 数据安全：UMP系统中提供了非常多数据安全机制

  

6.4 Amazon云数据库

6.4.1 Amazon和云计算的渊源

• 亚马逊和云计算的关系

  • 亚马逊开创了云计算的服务模式–把IT资源作为一种服务出租给美国中小企业

• 亚马逊的云计算发展

  

6.4.2 Amazon AWS

• Amazon AWS架构图

  

• 架构图组成部分详细介绍

  • AES GLobal Insfrastructure(全球基础设施)：Amazon在全球构建多个数据中心，构成了云计算服务的基础，云计算所有应用都部署在这些基础设施之上

    

    • 其拓扑结构由大到小分为：Region(地区)、Availability Zone（可用区）、Edge Locations(边缘节点)

      

  • Networking

    • 提供直连服务
    • VPN方式去跟亚马逊进行连接
    • 可以在云平台专门划分一块区域作为私有云，面向某个企业提供服务
    • Route 53：提供高可用的云域名解析系统

  • Compute

    • EC2,弹性计算云，相当于虚拟机，可以在上面运行、安装应用
    • ELB,提供负载均衡器，负责申请的多个EC2服务器的负载均衡

  • Storage

    • S3:简单对象存储服务
    • EBS:弹性块存储服务，专门针对EC2虚拟机设置
    • Glacier:用于较少使用的文档存储和备份，价格便宜

  • Database:

    • SimpleDB:基于云的键值存储服务
    • DynamoDB:性能高，容错性强，支持分布式
    • MySQL,SQL Server和Oracle等数据库
    • Amazon ElastiCache:数据库缓存服务

  • App Services:

    • 企业搜索级服务
    • 队列服务
    • 工作流服务
    • 内容分发服务
    • 弹性MapReduce:将Hadoop平台部署到了亚马逊平台

  • Deloyment& Administration(部署和管理服务)

    • 自动化一键部署
    • 提供相关的访问和认证服务

• Amazon AWS产品分类

  • 计算类服务：

    

  • 存储类

    

  • 其还提供相关的工具支持

    

• Amazon EC2架构

  • 整体架构

    

  • EC2最大特性:允许用户根据需求动态调整运行的实例类型和数量，实现按需付费

  • EC2平台包含内容：

    • EC2实例（AMI）
    • 弹性块存储
    • 弹性负载均衡

  • 如何将平时相关的应用部署到EC2

    

  • EC2数据存储：

    

    • EC2本地存储是实例自带的磁盘空间，但它并不是持久的
      • 若本地磁盘的相关服务已停止使用或本地磁盘的服务发生故障，本地磁盘的数据会被清空掉
    • 为了解决本地存储不可靠问题，EC2推出了EBS
    • EBS通过卷来组织数据，每个EBS卷只能挂载一个EC2实例
    • EBS卷并不与实例绑定，而是与用户帐号绑定

  • Amazon S3和EBS的区别

    

  • EC2x虚拟机类型

    

  • Amazon AWS云管理平台运行过程

    • 启动服务
    • 监控相关需求
    • 服务无人用时停止
    • 清楚相关资源

    

  • Hadoop作业AWS操作流程

    

    • 消息平台向Lauch Controller发送命令，将启动信息放在SimpleDB中，分配EC2
    • 启动Hadoop操作，EC2中执行大数据分析
    • 执行过程中通过Monitor Controller对状态信息进行监控，将监控信息更新到SimpleDB中，监控过程中会动态的增加或减少系统资源
    • 所有计算结束后，通过shoutdown Controller关闭EC2虚拟机和hadoop服务
    • Billing Controller根据消耗的资源出账单

6.4.3 AWS平台上的云数据库

• AWS平台上提供云数据服务包括

  • 关系型数据库RDS
  • 键值数据库SimpleDB
  • NoSQL数据库SimpleDB
  • 数据仓库Redshift
  • 分布式内存缓存ElastiCache

• SimpleDB

  

• DynamoDB

  • 避免如SimpleDB对多个键的索引

    

• RDS

  

• 允许建立3TB数据，带三万个DB实例

6.5 微软云数据库SQL Azure

• SQL Azure特点：将这个应用锁涉及到的相关数据都放到一个表组里

• 数据模型

  • 必须将一个行组里的数组存在一起例如Id=34的两行数据都会被分到一个分区中
  • 在实现事务时，针对一个分区的行组实现一个事务
  • 可以针对行组实现一个事务，但是它不支持跨分区事务

  

• 提供数据冗余备份：一般一主二从

  

  • 例如有四台服务器，分别放置了A、B、C、D四个分区，每个分区都有一个主副本和两个从副本

    

• SQL Azure四个组成部分

  

  

  • 全局分区管理器：维护分区映射表信息

  • 协议网关负责将用户的数据库连接请求转发到相应的主分区上