云原生真机实验

基于Proxmox VE构建中小企业云计算平台

首先Proxmox VE是什么？能用来做什么？

Proxmox VE是一个完整的企业虚拟化开源平台。借助内置的 Web 界面，可以在单个解决方案上轻松管理 VM(开虚拟机的) 和容器、软件定义的存储和网络、高可用性群集以及多个开箱即用的工具

如何安装Proxmox VE？

安装Proxmox VE需要用到Ventoy(制作可启动u盘的开源工具)，如果有u盘直接进入VENTOY下载，能用windows，linux安装，也支持网络安装操作系统（PXE）：iventoy，也就是不需要u盘通过Ventoy内置的web安装系统，通过网络安装的linux系统需要手动配置一些文件，通过u盘安装不需要这么麻烦

网络安装方式

根据版本下载解压，把需要安装的镜像文件放进iso

各个目录作用：

data	存放 License、配置文件等。
doc	存放软件相关说明文档
iso	放ISO文件的地方，可以在里面创建子目录。
lib	存放 iVentoy 运行所需的 LIB 文件，用户不要动这个目录。
log	存放 iVentoy 运行日志。
user	存放用户文件、第三方软件包、自动安装脚本等文件

然后运行iVentoy_64.exe就会弹出它的web页面，具体操作参考手册；安装之前一定要关掉windows的防火墙！！！

安装完成之后会ping不通百度也就无法进入它的内置web

这时候需要ip a查看

这里网卡是ens33，输入 nano /etc/network/interfaces将下图位置改成你自己的网卡，这时候ping百度就能通了

如果修改了还不能进入它的web页面，那就检查vm虚拟网络编辑器

接下来更换Proxmox软件源

wget https://mirrors.ustc.edu.cn/proxmox/debian/proxmox-release-bullseye.gpg -O /etc/apt/trusted.gpg.d/proxmox-release-bullseye.gpg

echo "deb https://mirrors.ustc.edu.cn/proxmox/debian/pve bullseye  pve-no-subscription
" > /etc/apt/sources.list.d/pve-no-subscription.list

Debian系统源更换

sed -i.bak "s#ftp.debian.org/debian#mirrors.aliyun.com/debian#g" /etc/apt/sources.list

sed -i "s#security.debian.org#mirrors.aliyun.com/debian-security#g" /etc/apt/sources.list

LXC仓库源更换

sed -i.bak "s#http://download.proxmox.com/images#https://mirrors.ustc.edu.cn/proxmox/images#g" /usr/share/perl5/PVE/APLInfo.pm

wget -O /var/lib/pve-manager/apl-info/mirrors.ustc.edu.cn https://mirrors.ustc.edu.cn/proxmox/images/aplinfo-pve-7.dat

systemctl restart pvedaemon

CEPH源更换

echo "deb https://mirrors.ustc.edu.cn/proxmox/debian/ceph-pacific bullseye main" > /etc/apt/sources.list.d/ceph.list

sed -i.bak "s#http://download.proxmox.com/debian#https://mirrors.ustc.edu.cn/proxmox/debian#g" /usr/share/perl5/PVE/CLI/pveceph.pm

删除订阅弹窗

sed -Ezi.bak "s/(Ext.Msg.show\(\{\s+title: gettext\('No valid sub)/void\(\{ \/\/\1/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js && systemctl restart pveproxy.service

apt update && apt dist-upgrade

安装openvswith

apt install openvswitch-switch

systemctl start openvswitch-switch

systemctl enable openvswitch-switch

成功登录pve的内置页面（先设置成中文再输入用户和密码）

创建ovs bridge（创建之前先将原来的网络删掉不然无法创建除非添加新网卡，记得备份千万不要没成功创建就应用配置，不然就得重新配网卡

可能遇到的问题

解决方法(打命令要确保你是root用户如果不是在所有命令之前加sudo)：

• apt update
• apt install openvswitch-switch

如果没有：

• nano /etc/apt/sources.list
• deb http://deb.debian.org/debian/ （这里填你用的什么发行版的版本可以上网查比如我用的debian12x 就是Bookworm） main
• apt update 
• apt -t bullseye-backports install openvswitch-switch

如果以上方法都不适用，你可以尝试从源代码编译安装openvswitch：

• apt install build-essential fakeroot devscripts
• wget https://www.openvswitch.org/releases/openvswitch-（这里填版本号）.tar.gz
• tar zxvf openvswitch-（这里填版本号）.tar.gz
  cd openvswitch-（这里填版本号）
  DEB_BUILD_OPTIONS='nocheck' debuild -us -uc
• dpkg -i openvswitch-switch_*.deb

如果点击应用配置项后，报以下错误：

you need ifupdown2 to reload network configuration (500)

解决方法：apt install ifupdown2

U盘安装方式

进入Ventoy官方 下载软件然后插上U盘 接下来按官方操作手册来即可，U盘弄好之后插入主机按F8 或者F12 进入选择界面 选择你的U盘然后就按上面操作来即可，注意u盘安装的pve不用配置网卡

配置共享存储（nfs）

1、安装软件包--服务端

apt install nfs-kernel-server -y

2、配置nfs server

# 1、分享目录
mkdir /pve_store

# 2、配置 /etc/exports
echo "/pve_store 172.16.0.0/16(rw,sync,no_root_squash)" > /etc/exports

# 3、启动服务
systemctl restart rpcbind
systemctl restart nfs-kernel-server
systemctl enable rpcbind nfs-kernel-server

# 4、验证
root@pve2:~# showmount -e 你的ip
Export list for 你的ip:
/pve_store 你的ip / 掩码

web界面添加共享存储（记得全把有的选项点上）

上传iso镜像

有三种上传镜像方式

方法1：自带web上传

方法2：下载镜像

cd /var/lib/vz/template/iso &&  wget -c https://mirrors.aliyun.com/centos/7.5.1804/isos/x86_64/CentOS-7-x86_64-Minimal-1804.iso

方法3：sftp上传本地镜像(ssh协议)

pve维护

删除节点

cd /etc/pve/nodes
rm -rf ***
pvecm delnode ***

离开集群

# 离线的节点操作
systemctl stop pve-cluster.service
systemctl stop corosync.service
pmxcfs -l
rm /etc/pve/corosync.conf
rm -rf /etc/corosync/*
killall pmxcfs
systemctl start pve-cluster.service
cd /etc/pve/nodes
ls
rm -rf /etc/pve/nodes/***
pvecm delnode ***

 
# 正常的节点操作：
cd /etc/pve/nodes
rm -rf ***
pvecm delnode ***