kvm+qemu+libvirt管理虚机

virt-manager 图形化创建虚拟机

#virt-manager纳管远程kvm虚拟机
# 可以指定kvm虚机的ssh端口和virt-manager所在主机的私钥
virt-manager -c 'qemu+ssh://root@10.197.115.17:5555/system?keyfile=id_rsa' --no-fork
# 如果你生成的ssh-key 的名称是 test-key,在/home/ssh-key/ 目录中，并保持了默认的 22 端口，则为：
virt-manager -c 'qemu+ssh://root@10.197.115.17/system?keyfile=/home/ssh-key/test-key' --no-fork

virt-install 命令行创建虚拟机(安装操作系统可选择vnc连接5910端口进行安装)

#virt-install是使用libvirt库构建虚机的命令行工具，使用了串行控制台（sdl\vnc客户端）来支持图形化安装
virt-install --name=kvm --ram=2048 --vcpus=2 --disk path=/root/kvm/centos01.img,size=20,bus=virtio --accelerate --cdrom /root/iso/CentOS-7-x86_64-Minimal-1810.iso --vnc --vncport=5910 --vnclisten=0.0.0.0 --network bridge=br0,model=virtio --noautoconsole
--name #虚拟机名称
--ram #分配给虚拟机的内存，单位MB
--vcpus #分配给虚拟机的cpu个数
--cdrom #指定CentOS镜像ISO文件路径
--disk #指定虚拟机raw文件路径
--size #虚拟机文件大小，单位GB
--bus #虚拟机磁盘使用的总线类型，为了使虚拟机达到好的性能，这里使用virtio
--cache #虚拟机磁盘的cache类型
--network bridge #指定桥接网卡
--model #网卡模式，这里也是使用性能更好的virtio

#virt-install 子命令缩写
-n --name= 客户端虚拟机名称
-r --ram= 客户端虚拟机分配的内存
-u --uuid= 客户端UUID 默认不写时，系统会自动生成
--vcpus= 客户端的vcpu个数
-v --hvm 全虚拟化
-p --paravirt 半虚拟化
-l --location=localdir 安装源，有本地、nfs、http、ftp几种，多用于ks网络安装
--vnc 使用vnc ，另有--vnclient＝监听的IP  --vncport ＝VNC监听的端口
-c --cdrom= 光驱 安装途径
--disk= 使用不同选项作为磁盘使用安装介质
-w NETWORK, --network=NETWORK 连接客户机到主机网络 
-s --file-size= 使用磁盘映像的大小 单位为GB
-f --file= 作为磁盘映像使用的文件
--cpuset=设置哪个物理CPU能够被虚拟机使用
--os-type=OS_TYPE 针对一类操作系统优化虚拟机配置（例如：‘linux’，‘windows’）
--os-variant=OS_VARIANT 针对特定操作系统变体（例如’rhel6’, ’winxp’,'win2k3'）进一步优化虚拟机配置
--host-device=HOSTDEV 附加一个物理主机设备到客户机。HOSTDEV是随着libvirt使用的一个节点设备名（具体设备如’virsh nodedev-list’的显示的结果）
--accelerate KVM或KQEMU内核加速,这个选项是推荐最好加上。如果KVM和KQEMU都支持，KVM加速器优先使用。
-x EXTRA, --extra-args=EXTRA 当执行从"--location"选项指定位置的客户机安装时，附加内核命令行参数到安装程序
--nographics "virt-install" 将默认使用--vnc选项，使用nographics指定没有控制台被分配给客户机

virsh的libvirt的命令行管理工具

virsh define test.xml  # 通过xml文件创建虚机，此时虚机未启动
virsh create test.xml  # 创建虚机
virsh edit test  # 修改现有的虚机xml定义文件
virsh destroy test  # 关闭虚拟机
virsh undefined test  # 删除虚机的xml定义定义文件，磁盘文件不会删除
virsh list --all  # 列出所有的虚机，包括关机状态的
virsh start domain  # 启动虚机并查看状态
virsh autostart domain # 设置虚机自启动
virsh vncdisplay  domain  # 查看虚机的vnc端口，一版进行操作系统的安装
virsh console domain  # 连接虚机
virsh net-list  # 查看网络
virsh net-start default # 开启网络将启用一个网桥virbr0,iptables规则、dnsmasq、dhcp

qemu相关命令

# qemu-img用于创建空的镜像文件
qemu-img create -f qcow2  test.qcow2  20G
# 镜像转换
qemu-img convert -c -O qcow2  image  result.img
# 修改磁盘大小(增加10G)
qemu-img   resize  test.qcow2  +10G

虚拟机xml文件

<domain type='kvm'>#域类型<name>test</name> #虚拟机的名字，由字母和数字组成，不能包含空格<memory unit='GiB'>8</memory> #在不reboot guest的情况下，guset可以使用的最大内存，默认KB为单位<currentMemory unit='GiB'>4</currentMemory> #guest启动时内存（当前），可以通过virsh setmem来调整内存，但不能大于最大可使用内存。<vcpu>4</vcpu> #分配的虚拟cpu<os><type arch='x86_64' machine='pc'>hvm</type> #hvm:全虚拟化#<kernel>/tmp/vmlinuz-rhel54</kernel> #kernel：指定guest使用的内核，如果使用ISO（安装时）或guset系统中（系统已经安装完成）的内核，不需要指定该项#<initrd>/tmp/initrd-rhel54.img</initrd> #initrd：指定guest使用的ram disk，如果使用ISO（安装时）或guest系统中（系统已经安装完成）的ram disk，不需要指定该项#注：kernel 和initrd文件位于RHEL系统光盘的images/pxeboot目录，拷贝这两个文件到本地磁盘，并指定路径。#注：这两个元素，如果是为了安装guset而指定，在安装完成以后即可以删除。#如果host开启了SELINUX，需要改变文件的security context类型为virt_image_t，从而在启动时libvirtd可以访问这二者# chcon -t virt_image_t /tmp/vmlinuz-rhel54# chcon -t virt_image_t /tmp/initrd-rhel54.img# ls -Z /tmp|grep virt<boot dev='hd'/> #boot:指定启动设备，可以重复多行，指定不同的值，作为一个启动设备列表。hd表示从硬盘启动<boot dev='cdrom'/> #network表示从pxe启动</os><features> #处理器特性<acpi/><apic/><pae/></features><clock offset='utc'/> #时钟#定义了在kvm环境中power off，reboot，或crash时的默认的动作为destroy。其他允许的动作包括：restart，preserve,rename-restart.<on_poweroff>destroy</on_poweroff><on_reboot>restart</on_reboot><on_crash>destroy</on_crash> #destroy：停止该虚拟机。相当于关闭电源<devices> #设备定义开始<emulator>/usr/libexec/qemu-kvm</emulator> #模拟元素，此处写法用于kvm的guest。二进制模拟器设备的完整路径。<disk type='file' device='disk'>#disk是用来描述磁盘的主要容器<driver name='qemu' type='qcow2'/><source file='/home/zhzej/test.qcow2'/>#指定磁盘上文件的绝对路径#使用virtio，采用普通的驱动，即硬盘和网卡都采用默认配置情况下，硬盘是 ide 模式，#而网卡工作在 模拟的rtl 8139 网卡下，速度为100M 全双工。#采用 virtio 驱动后，网卡工作在 1000M 的模式下，硬盘工作是SCSI模式下。#硬盘采用 virtio 后，安装windows 系统，将不能正常的识别硬盘，解决的方法是：#从kvm 的官网下载virtio的驱动iso。#1. 先采用ide模式安装系统。#2. 安装完成后，添加一个virtio模式的硬盘。#3. 启动vm后，系统会自动搜索 SCSI的驱动，找到下载的virtio 驱动后，安装即可。#4. 修改vm 配置文件，删除掉添加的 vitro 硬盘后，修改ide硬盘为 virtio模式即可<target dev='vda' bus='virtio'/></disk><disk type='file' device='cdrom'><source file='/home/iso/ubuntu-14.04.3-server-amd64.iso'/><target dev='hdb' bus='ide'/></disk>#使用网桥类型。确保每个kvm guest的mac地址唯一。将创建tun设备，名称为vnetx（x为0,1,2...）<interface type='bridge'><source bridge='br0'/><mac address='52:54:02:2B:73:F1'/><model type='virtio'/></interface># 补充：使用默认的虚拟网络代替网桥，即guest为NAT模式。也可以省略mac地址元素，这样将自动生成mac地址。# 默认分配192.168.122.x/24的地址，也可以手动指定。网关为192.168.122.1#<interface type='network'># <source network='default'/># <mac address="3B:6E:01:69:3A:11"/>#</interface><input type='mouse' bus='ps2'/> #输入设备#定义与guset交互的图形设备。在这个例子中，使用vnc协议。listen的地址为host的地址。prot为-1，表示自动分配端口号。<graphics type='vnc' port='-1' autoport='yes' listen='0.0.0.0' keymap='en-us'/></devices>
</domain>
可以使用xml模版创建虚机，事先创建好磁盘文件，然后修改xml的磁盘文件路径和mac地址，重新创建并安装多台虚机

遇到的问题

1. could not open disk ，imagePermission denied
   virt-install --virt-type kvm --name centos --ram 1024 --disk /tmp/centos.qcow2,format=qcow2 --network network=default --graphics vnc,listen=0.0.0.0 --noautoconsole --os-type=linux --os-variant=centos7.0 --location=/root/CentOS-7-x86_64-DVD-1708.iso

root@test:~# grep -n  root  /etc/libvirt/qemu.conf 
530:user = "root"
534:group = "root"
systemctl  restart   libvirtd.service

openstack、libvirt、kvm+qemu、kvm之间的关系