ansible自动化运维工具学习笔记

目录

ansible环境部署

控制端准备

被控制端准备

ansible批量管理主机的方式主要有两种

配置准备：

ssh密码认证方式管理机器

密码登录，需要各主机密码相同

配置免密登录

 ssh密钥方式批量管理主机

ansible实现批量化主机管理的模式

ansible-doc命令

command模块

 shell模块

  script模块

  copy模块

 yum_repository模块

yum模块

  systemd模块

  group模块

user模块

date命令：

File模块

cron模块

debug模块

template模块

lineinfile模块

PlayBook

YMAL

Play

ansible变量

全局变量

剧本变量

资产变量

Facts变量

注册变量

变量优先级

任务控制

条件

循环

tags属性

handlers属性：

JinJa2模板

介绍：Jinja2是基于Python书写的模板引擎。

命名：1.jinja2 文件以 .j2 为后缀，也可以不写后缀，

定界符：

判断控制：

循环控制(不可使用break，countinue)：

Role

循环方法创建main.yml

role执行：

Galaxy平台

实战：

优化ansible执行速度

1.ssh长连接：

2.开启pipelining：

3.Facts缓存到redis：

自由执行策略

异步执行

插件

回调插件

主输出插件

启用其他内置的回调插件

回调类型

日志回调插件

开发回调插件

---

ansible基于python编写，主要由python的两个ssh处理模块，paramiko以及pyYAML模块。

ansible环境部署

控制端准备

可使用yum安装方式

 yum -y  install epel-release       # 安装扩展源

 yum install -y ansible libselinux-python         #安装ansible及其所需的系统模块

被控制端准备

 yum -y  install epel-release       # 安装扩展源

 yum install -y libselinux-python          #安装ansible所需的系统模块

ansible批量管理主机的方式主要有两种

传统的输入ssh密码验证，密钥管理

配置准备：

配置好ansible的配置文件，添加被管理机器的ip地址，或者主机名

1.备份现有的配置文件

  cp  /etc/ansible/hosts{，.ori}     # 将hosts文件复制到hosts.ori文件中

2.添加ansible需要管理的机器地址

  vim  /etc/ansible/hosts

  # 添加内容

[主机列表模块]

被控制主机的IP

  注意：多台网络号相同的主机可以使用X.X.X.[S:E]格式

ssh密码认证方式管理机器

密码登录，需要各主机密码相同

ansible是直接利用linux本地的ssh服务，以及一些远程操作，一般情况下客户端的ssh服务默认开启，无须额外管理

1， 查看ssh是否开启（一般默认开启）

  systemctl status sshd

2， 在控制端主机上，告诉其他被管理的机器，你要执行什么命令，以及那些用户去执行

  ansible   主机列表模块    -m  功能   -a  "命令" -k  -u  用户

注意：①，主机列表模块不加[]

  ②，当使用all时，所有主机列表模块被选中

  ③，当使用多模块时用‘’括起来，模块之间：

并集   ：

交集   ：&

差集   ：！

  ④，如果不想使用默认的库存文件位置（通常是/etc/ansible/hosts），可以在/etc/ansible/ansible.cfg中修改，

在使用ansible时可以通过-i指定自定义的库存文件路径（资产）

常用参数

  # -m  指定功能模块，默认就是command，command模块它用于在远程主机上执行命令，除了command模块，还有ping等模块。

  #  -a  告诉模块需要执行的参数

  # -k  询问密码验证

  # -u 指定运行的用户

  # -i指定自定义的库存文件路径

3，如上操作，一般默认情况下会有错误提示，需要执行手动ssh对主机进行连接，及可使用ansible命令操作了

# 远程连接例如

  ssh   root@192.168.47.132

# 可查看

  cat  ~/.ssh/know_hosts

4，此时可以再次执行ansible命令

配置免密登录

当主机密码不同时，可以使用免密登录

        在/etc/ansible/hosts文件中，定义好密码即可，即可实现快速的认证和远程管理主机

 1， 修改hosts文件·

[主机列表模块]

被控制主机的ip  ansible_user=用户名   ansible_ssh_pass=密码

参数

# absible_host             主机地址

# ansible_port             端口，默认是22

# ansible_user             认证的用户

# ansible_ssh_pass      用户认证的密码

2，此时可以不需要输入密码，既可以自动ssh验证通过了

         ansible   主机列表模块   -m  功能   -a  “命令”

 ssh密钥方式批量管理主机

这种方式比配置host文件的密码参数更安全

1.在控制机上创建ssh密钥对

    ssh-keygen  -f   ~/.ssh/id_rsa   -P "" >/dev/null  2>&1

参数

# f    ：用于指定生成的密钥对文件的文件名

# P   ：用于指定密钥对的密码（口令）。这里设置为空字符串（""），意味着生成的密钥对在使用时不需要输入密码就能被访问和使用

# &1：表示将标准错误输出重定向到和标准输出相同的地方（也就是/dev/null）

2.此时到“cd  ~/.ssh/”下检查公私钥文件：id_rsa    id_ras.pub

3.编写公钥分发脚本

  #！/bin/bash

  rm -rf   ~/.ssh/id_ras*

  ssh-keygen   -f   ~/.ssh/id_rsa   -P "" >/dev/null  2>&1

  SSH_Pass=密码

  Key_Path=~/.ssh/id_rsa.pub

  for   ip  in  132 133                   # 这里的132，133是我的管理主机的最后主机号

  do

# 非交互式分发公钥命令需要用sshpass指定SSH密码，通过-o   StrictHostKeyChecking=no跳过SSH连接确认信息

           sshpass    -p$SSH_Pass    ssh-copy-id   -i    $Key_Path    "-o   StrictHostKeyChecking=no"        192.168.47.$ip

  done

4.运行脚本，使用ansible工具

ansible实现批量化主机管理的模式

主要有两种：

利用ansible的纯命令行实现的批量管理，ad-hoc模式——好比简单的shell命令管理

利用ansible的playbook剧本来实现批量管理，playbook剧本模式——好比复杂的shell脚本

Ad-hoc模式

ansible的ad-hoc模式是ansible的命令行形式，处理一些临时的，简单的任务，可以直接使用ansible的命令行来操作

playbook模式

ansible地playbook莫事是针对比较具体，且比较大的任务，需要写好剧本来实现，比如一键部署rsync备份服务器，lnmp环境。

ansible-doc命令

列出所有的ansible-hoc支持的模块

  ansible-doc    -l  

查看某个模块的具体的用法参数

  ansible-doc   -s   command

command模块

作用：在远程节点上执行一个命令

 ansible-doc   -s    command    # 查看该模块支持的参数

常用参数：

chdir：在执行命令之前，通过cd进入该参数指定的目录

creates：在创建一个文件之前，判断该文件是否存在，如果存在了则跳过前面的东西，如果不存在则执行前面的动作

free_form：该参数可以输入任何的系统命令，实现远程执行和管理

removes：定义了一个文件是否存在，如果存在则执行前面的动作，如果不存在则跳过动作

warn：是否提供告警信息

注意：

command模块是ansible的默认基本模块，可以省略不写，使用command模块，不得出现shell变量$name,也不得出现特殊符号>< | ; &这些符号command模块都不认识，如果需要使用特殊符号，可以使用shell模块。

 shell模块

作用：在远程机器上执行复杂的命令

ansible-doc   -s    shell   # 查看该模块支持的参数

注意：语句之间用；进行分割

  script模块

功能：将控制端的脚本远程传输到被控制主机上运行

对比shell模块。script模块功能更强大

ansible-doc   -s    script   # 查看该模块支持的参数

注意：直接传送脚本名即可

  copy模块

功能：主要用于管理节点和被管理节点之间的文件拷贝

常用参数：

 src 指定拷贝文件的源地址

 dest  指定拷贝文件的目的地址

 backup 拷贝文件前，若被控制主机源文件发生变化，则对目标文件进行备份

 woner 指定新拷贝文件的所有者

 group 指定新拷贝文件的所有组

 mode 指定新拷贝文件的权限

   

 yum_repository模块

功能：添加yum库

常用参数：

 name 仓库名称，就是仓库文件中的第一行的中括号中名称，必须的参数

 description 自定义仓库描述信息，必须的参数

 baseurl  yum存储库‘repodata’目录所在目录的url，必须的参数，它可以是多个url的列表

 file 仓库文件保存到被控制主机的文件名，不包含.repo。默认是name的值

 state  preset确认添加仓库文件，absent确认删除仓库文件

 gpgcheck 是否检查gpg  yes|no ，没有默认值，使用/etc/yum.conf进行配置

yum模块

等同于Linux上的yum命令，对远程服务器上的rpm包进行管理。

常用参数：

 name  要安装的软件包名，多个软件包以逗号隔开

 state 对当前指定的软件安装，移除操作（present  installed  latest absent removed）

         支持的参数

 present 确认已经安装，但不升级

 installed  确认已经安装

 latest   确保安装，且升级为最新

 absent 和removed  确认已移除

安装软件包组

 ansible  列表主机模块  -m  yum   -a   ”name='@Development  tools'   state=present“

 注意：@Development tools是要安装的软件包组的名称。在基于 RPM 的 Linux 系统中，软件包可以分组，Development tools是一个包含了许多开发相关工具（如编译器、调试工具等）的软件包组。

  systemd模块

功能：管理远程主机上的systemd服务，就是由systend所管理的服务

常用参数：

 daemon_reload  重新载入systemd，扫描新的/变动的单元

 enabled  是否开机自启动yes|no

 name 必选项，服务名称，比如httpd  vsftpd

 state 对当前服务执行启动，停止，重启，重新加载等操作（started，stopped，restarted，reloaded）

  group模块

功能：对被控制主机进行组的管理

常用参数：

 name  组名称，必选项

 system  是否为系统组，yes|no，默认为no

 state  删除或者创建，present/absent，默认是present

user模块

功能：用于管理被管理结点上的用户

常用参数：

name：必选项，指定用户名

password：设置用户密码，接受的是一个加密的值，会直接存到shadow，默认不设置密码

update_password:更新密码

home：指定用户家目录

shell：设置用户的shell

comment：用户的描述信息

create_home：在创建用户时，是否创建其家目录，默认创建，不创建设置为no

group：设置用户的主组

groups：将用户加入到其他组，逗号分开，默认会把用户从原组删除

append：与groups配合使用，yes时，不会将用户从原组删除

system：设置为yes时，将会创建一个系统账号

expires：设置用户的过期时间，值为时间戳，会转为天数后放在shadow的最后第8个字段里

generate_ssh_key：设置为yes将会为用户生成密钥。不会覆盖原来密钥

ssh_key_type：指定用户的密钥类型，默认为rsa，具体的类型取决于被管理结点

state：删除或添加用户，yes为添加，absent为删除，默认为yes

remove：当与state=absent一起使用，删除一个用户及关联目录，可选值为yes/no

date命令：

// 计算 3 小时之后是几点几分

# date +%T -d  '3 hours'

//任意日期的前 N天，后 N 天的具体日期

# date +%F -d"20190910 1 day"

# date +%F -d"20190910 -1 day

//计算两个日期相差天数，比如计算生日距离现在还有多少天

# d1=$(date +%s -d 20180728)

#d2=$(date +%s -d 20180726)

#echo s(((d1-d2)/86400))

File模块

功能：用于远程主机上的文件操作

常用参数：

owner：定义文件/目录的属主

group：定义文件/目录的属组

mode：定义文件/目录的权限

path：必选项，定义文件/目录的路径

recurse：递归的设置文件的属性，只对目录有效

src：链接（软/硬）文件的源文件路径，只应用于state=link的情况

dest：链接文件的路径，只应用于state=link的情况

state：

directory：如果目录不存在，创建目录

file：文件不存在，则不会被创建，存在则返回文件的信息，常用于检查文件是否存在。

link：创建软连接

hard：创建硬连接

touch：文件不存在，则会创建一个新的文件，文件或目录存在，则更新其最后修改时间

absent：删除目录，文件或者取消链接文件

cron模块

功能：管理远程节点的cron服务，等同于Linux中的计划任务

注意：使用Ansible创建的计划任务，是不可使用本地的crontab -e去编辑，否则Ansible无法再次操作次计划任务

常用参数：

name：指定一个cron job名字，便于删除

minute：指定分钟，可以设置(0-59，*，*/2等)，默认是*。表示每分钟。

hour：每小时。可设置(0-23，*，*/2等)，默认是*，表示每天。

month：指定月份，可设置(1-12，*，*/2等)，默认是*，每周

weekday：指定月份，可设置(0-6 for Sunday-Saturday，*等)，默认*，每星期

job：指定要执行的内容，通常可以写脚本或内容。

state：指定job状态，新增present/删除absent，默认present。

验证cron：

crontab -l

debug模块

功能：debug模块主要用于调试时使用，通常的作用是将一个变量的值给打印出来

常用参数：

var：直接打印一个指定的变量值，变量不用加双引号。

msg：打印一段可以格式化的字符串

template模块

功能：加强版copy，可以进行文档内变量的替换

常用参数：

src：指定ansible控制端的文件路径

dest：指定ansible被控端的文件路径

owner：指定文件属主

group：指定文件属组

mode：指定文件的权限

backup：创建一个包含时间戳信息的备份文件，yes/no

lineinfile模块

功能：在被管理节点上，用正则匹配对目标文件的一行内容修改删除等操作

常用参数：

path：目标文件路径，必须项。

state：可选值absent删除|present替换(默认值)

regexp：在文件的每一行查找的正则表达式，对于state=present，仅找到的最后一行被替换

line：要在文件中插入/替换的行，需要state=present

create：文件不存在时，是否要创建文件并添加内容，yes/no。

# ansible all -m lineinfile -a 'path=/etc/selinux/config regexp="^SELINUX=" line="SELINUX=disabled" state=present'

PlayBook

YMAL

PlayBook遵循YAML的语法格式。

yaml特点

Yaml 文件以 # 为注释符

Yaml 文件以  .yml 或者 .yaml结尾

Yaml 文件以 --- 开始，以 …结束，开始和结束标志都是可选的

yaml基本语法

区分大小写

使用缩进表示层级关系

缩进时，使用tab键或者空格键一定要达到统一

相同层级的元素必须左侧对齐即可

yaml支持的数据结构有三种

字符串  YAML中的字符串可以不使用引号，语句为表述完可进行折行

列表    格式 ‘以短横线开头+空格+具体的值’，一个短横线是一个列表元素

字典    格式：‘key+冒号(:)+空格+值(value)，即key：value’

yaml语法测试

 python3 -c 'import yaml,sys;print(yaml.safe_load(sys.stdin))' < yml文件

Play

定义Play

每个Play都是以短横杠开始的

每个Play都是一个YAML字典格式

常用属性

name： 每个play的名字

hosts： 每个play涉及的被管理服务器，同ad-hoc中的资产选择器

tasks： 每个play中具体要完成的任务，以列表的形式表达

become：如果需要提权，则加上become相关属性

becom_user: 若提权的话，提权到哪个用户上

remote_user: 在远程服务器上执行具体操作的用户。若不指定，则默认使用当前执行ansible  Playbook的用户

一个完整的playbook

对Playbook进行语法校验

下面校验的方法，只能校验PlayBook是否正确，而不能校验YAML文件是否语法正确

ansible-playbook  playbook文件名    --syntax-check

可以安装yamllint进行校验YAML语法

pip3  install yamllint

yamlint  文件名

运行PlayBook

ansible-playbook   playbook文件名

单步跟从调试PlayBook

//执行task中的任务，需要手动确认是否往下执行

 ansible-playbook   playbook文件名    --step

测试运行PlayBook

会在本机上模拟执行所有过程

 ansible-playbook  playbook文件名   -C

ansible变量

在ansible中，使用双花括号 {{ }} 来引用变量

全局变量

通过命令行参数，使用-e参数在执行ansible命令时传递全局变量

剧本变量

通过play属性vars/vars_files定义

在play使用{{变量名}}引用变量，当为字典中的vlaue值时需要加上双引号（与字典进行区分）。

资产变量

主机变量和主机组变量

主机变量优先级高于主机组变量

Facts变量

它的声明和赋值完全由ansible中的setup模块帮助我们完成，收集了有关被管理服务器的操作系统版本，服务器IP地址，主机名，磁盘的使用情况，

cpu个数，内存大小等有关被管理服务器的私有信息。

语法：ansible 主机列表  -m  setup

可以通过Facts模块中的filter参数去过滤我们想要的信息。

例如过滤内存信息

在PlayBook运行的时候都会发现在PlayBook执行前都会有一个Gathering Facts的过程，这个过程就是收集被管理服务器的Facts信息过程。

例如获取地址

注意：获取Facts信息时，需要先获取最外层一般以ansible开头，内部值引用若为列表则".下标"，字典则“.key”

若在整个PlayBook的执行过程中，完全未使用过Facts变量，此时可以将其关闭以加快PlayBook的执行速度。

 # 关闭facts变量收集功能

  gather_facts: no

注册变量

将此次task任务的结果作为条件，去判断是否去执行其他task任务；

注册变量在PlayBook中通过register关键字去实现。

变量优先级

全局变量>剧本变量>资产变量

任务控制

条件

用when实现条件判断

when支持如下运算符：

==，！=，>/<,>=/<=,is defined,is not defined,true,flase,and,or

循环

在PlayBook中使用with_items/loop去实现循环控制，且循环时的中间变量（shell循环中的$i变量）只能是关键字item（每次循环的值由item接受），不能随意自定义。

tags属性

解决的问题：对某些具体的任务执行，而不用执行整个PlayBook剧本，降低变更风险和范围

使用：

在playbook具体任务下一定要指定tags属性，这样在执行的过程中只执行task任务上打上tags标记的任务

执行语法：ansible-playbook     剧本名   -t  tags标记名

handlers属性：

解决问题：与notify配合使用，当某任务发生改变，通过notify通知去触发handlers(与tasks平级)下的任务。

JinJa2模板

介绍：Jinja2是基于Python书写的模板引擎。

命名：1.jinja2 文件以 .j2 为后缀，也可以不写后缀，

定界符：

注释: {# 注释内容 #}

变量引用: {{ var }}

逻辑表达: {% %}

判断控制：

{%if%}

{%else if%}

{%end if%}

循环控制(不可使用break，countinue)：

{%for ….in…%}

{%end for%}

Role

role就是一个目录，将一个PlayBook拆分成不同子目录，目录名就是role名，role下会有子目录，每个子目录包含一个‘main.yml’文件，

循环方法创建main.yml

 for  d  in `ls` ; do ; touch ${d}/main.yml ; done

这个文件应该包含以下名称对应的内容：

tasks -包含角色要执行的任务的主要列表

handlers-包含处理程序，此角色甚至该角色之外的任何地方都可以使用这些处理程序。

defaults-角色的默认变量。

vars-角色的其他变量，

files -包含可以通过此角色部署的文件

templates -包含可以通过此角色部署的模板。

meta -为此角色定义一些元数据

角色必须至少包含这些目录之一，但是最好排除任何未使用的目录

role执行：

role 本身不能被直接执行，需要借助playBook进行间接的调用。

• name: a playbook used role

        hosts: all

        roles :

           - 角色名

Galaxy平台

功能：获取需要的role。https://galaxy.ansible.com/

常用指令

//在galaxy 上搜索共享的ROLE

# ansible-galaxy search  名称

//安装 galaxy 上共享的 ROLE

# ansible-galaxy install  名称

//列举已经通过 ansible-galaxy 工具安装的ROLE#

 ansible-galaxy list 

//创建一个ROLE 的空目录架构，这样我们在开发一个ROLE的时候，就不需要手动创建目录了。

# ansible-galaxy init   --offline

实战：

优化ansible执行速度

1.ssh长连接：

进/etc/ansible/ansible.cfg修改ControlPersist时间，使用ss -natp | grep -E 'ESTAB.*ssh'查看连接情况

2.开启pipelining：

进/etc/ansible/ansible.cfg修改pipelining = True，执行剧本时-vvv发现无put操作

3.Facts缓存到redis：

安装redis，安装 Redis Python 客户端pip install redis

进/etc/ansible/ansible.cfg

修改收集类型gathering = smart（缓存后不再收集），

设置缓存后端为 fact_caching = redis，

修改fact_caching_connection= 服务器ip:6379:0（参考注释修改），

fact_caching_timeout=缓存过期时间

进/etc/redis.conf中bind=0.0.0.0（允许所有 IP 访问），重启redis

自由执行策略

允许 Ansible 同时在所有目标主机上独立执行任务（并行）。每台主机完成一个任务后，会立即开始执行下一个任务，而不必等待其他主机完成当前任务。

适用场景：适用于任务之间相互独立，且希望尽快完成所有主机上任务的场景，例如批量安装软件包。运行时，加-f 选项用于控制并行执行的进程数量

配置：进入ansible.cfg修改strategy = free

异步执行

 当执行耗时较长的任务时，无需等待任务完成，ansible可以继续处理其他事务。

参数：

async：用于指定任务的最大执行时间（以秒为单位）。如果任务在这个时间内没有完成，ansible 会将其标记为失败。

poll：用于指定 ansible 检查任务状态的间隔时间（以秒为单位）。如果设置为 0，表示不主动检查任务状态，而是让任务在后台异步运行，之后可以通过 async_status 模块手动检查任务状态

插件

回调插件

查看回调插件：ansible-doc -t callback -l

查看json回调插件：ansible-doc -t callback  json

主输出插件

同时只能有一个回调插件作为主输出插件，如果想替换，在 ansible.cfg 中配置 stdout 插件（标准输出）。

stdout_callback = json       #以JSON的格式输出结果，也可其他

或使用自定义的回调 stdout_callback = mycallback

默认情况下仅对playbook生效，若让ad-hoc方式生效在ansible.cfg种修改bin_ansible_callbacks = True

启用其他内置的回调插件

大部分情况下，无论是内置的回调插件还是自定义的回调插件，都需要在ansible.cfg 中添加到白名单中，才能启用。

callback_whitelist=timer,mail,profile roles,custom callback

timer ：计算整个 playbook 的运行时间

mail： 实现发送邮件的功能

profile_roles ：统计任务执行时间

custom callback是自定义的插件

注意：profiles_roles总时间超过timer总时间可能是由于并行机制的影响，profile_roles中时间是任务的时间累加，而实际执行会并行。

回调类型

不同的回调类型对于 playbook 的输出有不一样的效果

stdout 标准输出类型，用在回调的主管理者

aggregate聚合类型，把此类型插件处理的结果和stdout 类型插件合并一起输出到标准输出。比如:timer，profile_tasks 等。

notification 通知类型，不参与标准输出，也不影响标准输出插件的正常输出，只是会把执行 playbook的返回值写的指定的媒介中。

比如:log_plays，mail。假如自定义把执行playbook 的结果输出到数据库中就可以使用此类型。

日志回调插件

内置的回调查看log_plays会将playbook的返回信息到默认路径/var/log/ansible/hosts目录中。

以下方法可通过ansible-doc -t callback  log_plays进行查看

方法1：使用系统变量指定日志路径 export  ANSIBLE_LOG_FOLDER=日志存储路径，并加入白名单

方法2：在ansible.cfg中进行配置，并加入白名单

[callback_log_plays]

log_folder = 日志存储路径

查看文档：

开发回调插件

规则

1，使用兼容的python版本进行编写

2，遇到问题，主动抛出异常

3，返回以unicode编码的字符串，主要是兼容JinJa2

4，符合ansible的配置和文档标准，可以通过ansible.cfg进行配置

开发mysql_plays插件

数据库准备：

create database if not exists ansible default charset utf8mb4 collate utf8mb4_general_ci;

create user 'ansible'@'%' identified with mysql_native_password by 'Aa!123456';

grant all on ansible.* to 'ansible'@'%'；

mysql> create table if not exists playsresult(

    -> id int auto_increment primary key,

    -> user varchar(16) not null,

    -> host varchar(32) not null,

    -> category varchar(11) not null,

    -> result text,

    -> create_time datetime not null default current_timestamp

    -> );

log_plays文档改写：

1.获取文档：按上述日志回调插件查看文档方法获取文档

2.进行改写，改option选项，通过异常判断pymsql还是MySQL库，定义mysql连接函数，定义execute_sql函数

3.改写完成保存到/root/.ansible/plugins/callback/目录下

ansible.cfg配置：

将插件写入白名单，并将ini写入

验证：

ansible-doc -t callback mysql_plays