初识云原生、虚拟化、DevOps

K8S

• master

  主节点，控制平台，Master节点负责核心的调度、管理和运维，不需要很高性能，不跑任务，通常一个就行了，也可以开多个主节点来提高集群可用度

• worker

  工作节点，可以是虚拟机或物理计算机，，Slave节点则在执行用户的程序，任务都在这里跑，机器性能需要好点；通常都有很多个，可以不断加机器扩大集群；每个工作节点由主节点管理

  Master Node和Worker Node是分别安装了K8S的Master和Woker组件的实体服务器，每个Node都对应了一台实体服务器（虽然Master Node可以和其中一个Worker Node安装在同一台服务器，但是建议Master Node单独部署），所有Master Node和Worker Node组成了K8S集群，同一个集群可能存在多个Master Node和Worker Node

• pods：管理容器，每个 Pod 可以包含一个或多个紧密关联的容器，Pod 是一组紧密关联的容器集合，每个 Pod 有自己的虚拟IP。一个工作节点可以有多个 pod，主节点会考量负载自动调度 pod 到哪个节点运行，它们共享PID、IPC、Network 和 UTS Namespace，是 Kubernetes 调度的基本单位，Pod 内的多个容器共享网络和文件系统，可以通过进程间通信和文件共享这种简单高效的方式组合完成服务，使用 ManiFest ( YAML 或 JSON )来定义,

• Node：是 Pod 真正运行的主机，可以是物理机，也可以是虚拟机，为了管理 Pod 每个 Node 节点上至少要运行 Container Runtime (比如 docker 或者 rkt )、 Kubelet 和 Kube-proxy 服务

• Namespace：是对一组资源和对象的抽象集合，比如可以用来将系统内部的对象划分为不同的项目组或用户组，常见的 pods, services, replication controllers 和 deployments 等都是属于某一个 namespace 的(默认是 default)，而 node, persistentVolumes 等则不属于任何 namespace

• Service：是应用服务的抽象，通过 labels 为应用提供负载均衡和服务发现，匹配 labels 的 Pod IP 和端口列表组成 endpoints，由 kube-proxy 负责将服务 IP 负载均衡到这些 endpoints 上，通常每一个 Service 都会自动分配一个 Cluster IP (仅在集群内部可访问的虚拟地址)和 DNS 名，其他容器可以通过该地址或 DNS 来访问服务，而不需要了解后端容器的运行

K8s 主要由以下几个核心组件组成：

Master 组件

• etcd：保存了整个集群的状态
• apiserver：提供了资源操作的唯一入口，并提供认证、授权、访问控制、API 注册和发现等机制
• controller manager：负责维护集群的状态，比如：故障检测、自动扩展、滚动更新等
• scheduler：负责资源的调度，按照预定的调度策略将 Pod 调度到相应的机器上

Worker 组件

• kubelet：负责维护容器的生命周期，同时也负责 Volume(CSI) 和网络 (CNI) 的管理
• Container runtime：负责镜像管理以及 Pod 和容器的真正运行(CRI)
• kube-proxy：负责为 Service 提供 cluster 内部的服务发现和负载均衡

工作负载分类

• Deployment
  适合无状态应用，所有 pod 等价，可替代
• StatefulSet
  有状态的应用，适合数据库这种类型
• DaemonSet
  在每个节点上跑一个 Pod，可以用来做节点监控、节点日志收集等
• Job & CronJob
  Job 用来表达的是一次性的任务，而 CronJob 会根据其时间规划反复运行

虚拟化

**常见虚拟化工具：**VMware、VirtualBox、Hyper-V、Xen、KVM

vSphere，ESXi 和 vCenter 的区别

• vSphere 是在数据中心产品下的一套软件。vSphere 类似微软的 Office 办公套件，Office 办公套件包含了许多软件如Word, Excel, Access 等。和 Office 一样，vSphere 也是一个软件的集合。他包括了 vCenter, ESXi 和 vSphere 等。所以，这些软件联合起来就是 vSphere。vSphere 不是一个你可以安装使用的软件。它只是一个包含其它组件的集合

• ESXi 是 vSphere 中最重要的一个组件，允许基本创建和运行虚拟机。ESXi 是虚拟化服务。所有的虚拟机都是运行在 ESXi 服务上面。为了安装，管理和访问这些虚拟机，你需要另外的 vSphere 套件，也就是 vSphere client 或 vCenter。vSphere client允许管理员访问 ESXi 服务并管理虚拟机，。vSphere client 是安装在客户机(也就是管理员的笔记本)上面。vSphere client 被用来连接 ESXi 服务器和管理任务

  

• vCenter server 和 vSphere client 很像，但是它和功能更加强大。vCenter server 是安装在 Window 服务器或 Linux 服务器里面。VMware vCenter server 是一个中心化的管理应用。你可以通过它管理所有的虚拟机和 ESXi 物理机。vSphere client 可以通过访问 vCenter Server 来管理 EXSi 服务器

Vmware vcenter未授权任意文件上传(CVE-2021-21972)复现

DevOps

透过自动化“软件交付和“架构变更”的流程，来使得构建、测试、发布软件能够更加地快捷、频繁和可靠

微服务架构+ DevOps 模式

• 理解 DevOps
• DevOps环境搭建：https://mp.weixin.qq.com/s/UK-KfpjwJRkoTNHPBkZp2w

远程部署一些机器，专门用来管理代码，进行上线工作，由运维事先把上线的规则都给定义好了，开发只要按照他的规则都访问这台服务器进行各自的代码合成和发布，自己上线呢，能用代码自动完成的事情就绝不要手动解决，这是每个开发人员都在想的东西。运维需要做的事情，慢慢的都沉淀到了各个平台上面，例如监控，有专门的监控组件和可视化，基础服务例如服务器，CDN，负载均衡等基础服务可以外包到云服务厂商，日志也有专门的日志工具，链路追踪也有专门的组件和可视化，还有网关等，渐渐的，只要这些都配置好了，开发也可以做运维的部分工作，毕竟开发才是最了解代码的人，哪里出了问题看看监控日志，可以最快速度定位到问题，于是DEVOPS开发模式诞生了，开发也是运维

devops平台搭建工具

• 项目管理（PM）：jira，运营可以上去提问题，可以看到各个问题的完整的工作流，待解决未解决等
• 代码管理：Bitbucket、gitlab，jenkins 或者 K8S 都可以集成 gitlab，进行代码管理，上线，回滚等
• 持续集成CI（Continuous Integration）：Jenkins， [gitlab ci]开发人员提交了新代码之后，立刻进行构建、（单元）测试。根据测试结果，我们可以确定新代码和原有代码能否正确地集成在一起
• 持续交付CD（Continuous Delivery）：gitlab cd，完成[单元测试]后，可以把代码部署到连接数据库的 Staging 环境中更多的测试。如果代码没有问题，可以继续手动部署到生产环境中
• 镜像仓库：VMware Harbor，私服 nexus，JFrog
• 容器：Docker
• 编排：K8S
• 服务治理：Consul、ZooKeeper 提供分布式系统的协调服务、
• 脚本语言：Python
• 日志管理：Cat+Sentry，还有种常用的是ELK，Splunk
• 系统监控：Prometheus，Grafana: 用于可视化大型测量数据的开源平台，经常与Prometheus一起使用，Nagios: 免费的开源IT基础设施监控工具，Zabbix: 一个企业级开源监控解决方案、SolarWinds、Cacti
• 负载均衡：Nginx、HAProxy
• 网关：Kong，zuul
• 链路追踪：Zipkin
• 产品和UI图：蓝湖
• 公司内部文档：Confluence
• 报警：推送到工作群

有了这一套完整的流程工具，整个开发流程涉及到人员都可以无阻碍的进行协调工作了，开发每天到公司，先看看 jira看看线上日志，出了问题看看监控日志，运营同学反馈问题不着急的去JIRA，着急的群里吆喝，产品和UI的图直接蓝湖看，运维关注监控着大盘

大数据架构

大数据-技术常用组件