Jenkins - Python 虚拟环境

引言

Automation 脚本通常会部署到 Jenkins 上运行，Jenkins 环境是随机分配虚拟机的，有些 Node 上虚拟机环境还都不一样，安装的依赖包，操作系统也各不相同。经常有遇到脚本有时跑失败，有时跑成功了，很大原因就是安装脚本所需的安装包失败。我们可以用虚拟环境来解决这一问题，今天就来了解一下 Python 虚拟环境。

Python 虚拟环境

Python 虚拟环境 (Virtual Environment) 是一种隔离的环境，每个虚拟环境都有自己的 Python 解释器和一组独立的库，从而避免了不同项目之间的依赖冲突。

使用虚拟环境有许多好处，尤其在管理项目依赖和开发环境时显得尤为重要。

1. 依赖隔离
   虚拟环境允许你为每个项目创建独立的依赖环境。这意味着一个项目中的库和版本不会影响到另一个项目。这样可以避免版本冲突和兼容性问题。
2. 更好的项目管理
   在虚拟环境中，你可以安装特定于某个项目的依赖包，并确保这些包的版本是项目所需的版本。这有助于确保项目在不同开发环境中的一致性。
3. 简化部署
   使用虚拟环境可以简化项目的部署过程。通过生成 requirements.txt 文件，你可以轻松地在任何环境中重现项目的依赖配置，从而简化应用的安装和部署。
4. 提高安全性
   虚拟环境可以隔离项目的依赖包，从而减少与系统全局包的交互。这有助于避免意外修改系统级的库和包，降低了引入安全风险的可能性。
5. 多个 Python 版本共存
   虚拟环境允许你在同一台机器上使用不同版本的 Python。这对于需要同时维护和开发多个基于不同 Python 版本的项目特别有用。
6. 简化开发环境设置
   开发人员可以为项目创建一个统一的开发环境配置，确保团队成员之间的一致性。通过共享虚拟环境配置文件（如 requirements.txt），团队成员可以快速搭建和同步开发环境。
7. 避免权限问题
   在某些操作系统上，安装全局包可能需要管理员权限。使用虚拟环境可以避免这些权限问题，因为虚拟环境中的包安装在用户目录下，无需管理员权限。
8. 提供清洁的环境
   虚拟环境提供一个干净的工作区，不包含任何未使用的全局安装包。这使得调试和测试更加简洁和明确。

总结
使用虚拟环境不仅能提高开发效率，还能减少项目之间的依赖冲突和兼容性问题，是现代 Python 开发中不可或缺的工具。通过合理利用虚拟环境，开发人员可以更好地管理和维护项目，提高开发和部署的质量和效率。

创建 Python 虚拟环境

安装 virtualenv（可选）

virtualenv是一个用于创建隔离的Python环境的第三方工具。虽然 Python 3.3 及以上版本内置了venv模块，可以直接创建虚拟环境，但virtualenv提供了一些额外的功能和更广泛的兼容性，特别是在早于 Python 3.3 的版本中。
如果你使用的是 Python 3.3 或更高版本，并且只需要基本的虚拟环境功能，那么你可能不需要安装virtualenv，因为你可以直接使用内置的venv模块。然而，如果你需要virtualenv提供的额外功能或者你在使用早于 Python 3.3 的版本，那么你需要安装virtualenv。

安装virtualenv的命令如下：

pip install virtualenv

这个命令使用pip（Python的包管理器）来安装virtualenv。一旦安装，你就可以使用virtualenv命令来创建虚拟环境了。

创建虚拟环境

使用 venv 模块（Python 3.3 及以上版本自带）创建虚拟环境：

python -m venv myenv

或者使用 virtualenv：

virtualenv myenv

其中 myenv 是虚拟环境的名称，可以随意命名。执行这个命令后，venv 或 virtualenv 模块会在当前目录下创建一个名为 myenv 的文件夹，其中包含了一个独立的 Python 解释器以及一个空的 pip 库。这样，你就可以在这个虚拟环境中安装和管理包，而不会影响到系统级别的Python环境。

激活虚拟环境

在不同操作系统上，激活虚拟环境的方式略有不同，激活虚拟环境后，你的命令行提示符可能会显示虚拟环境的名称，表明虚拟环境已经被激活。

• Windows：

myenv\Scripts\activate

• macOS 和 Linux:

source myenv/bin/activate

如果你遇到了 source: not found 错误，这通常意味着你正在使用的 shell 不识别 source 命令，在Unix或类Unix系统（如 Linux 和 MacOS）中，.（点命令）是 source 命令的一个别名，所以可以尝试下面命令

. myvenv/bin/activate

安装依赖包

在虚拟环境激活后，可以使用 pip 安装所需的包。例如：

pip install requests

退出虚拟环境（可选）

虚拟环境的激活只对当前 shell session有效，不跨 session 传递，所以这个命令是可选的。
可以通过以下命令退出虚拟环境：

deactivate

注意

如果你在一个新的 shell session 中工作，之前激活的虚拟环境不会自动激活。每次你开启一个新的 shell session 时，如果你想在该 session 中使用之前创建的虚拟环境，你需要手动激活它。虚拟环境的激活只对当前 shell session有效，不跨 session 传递。

这意味着，对于每个新的 shell session，如果你想使用特定的虚拟环境，你需要重复激活步骤。记住，每次你开启一个新的 shell session 并希望使用虚拟环境时，这个激活步骤都是必需的。这确保了你的项目依赖是隔离的，并且不会不小心使用到全局 Python 环境中的包。

如果在另外一个 Shell session 中不激活虚拟环境，只是临时运行某个命令，也可以直接使用虚拟环境目录下执行命令
例如：

myenv/bin/python -m pip install -r requirements.txt 

Python 虚拟环境实践

下面是一个完整的示例，展示了如何创建和使用虚拟环境：

命令 python -m venv myvenv --system-site-packages --clear 用于创建一个新的 Python 虚拟环境，同时包含了一些特定的选项，如下所述：

• –system-site-packages: 这个选项使得虚拟环境能够访问系统级 Python 安装中的 site-packages 目录下的包。这意味着虚拟环境不仅可以使用在其内部安装的包，还可以使用全局安装的包。
• –clear: 如果目标目录（在这个例子中是 myvenv 目录）已经存在，这个选项会在创建新的虚拟环境之前清除目标目录中的所有内容。这对于重置虚拟环境到一个干净的状态很有用。

cat /proc/version
sudo apt -y install python3.8-venv
whereis python
python -V
python3 -V
python -m venv myvenv --system-site-packages --clear
. myvenv/bin/activate
# 安装依赖包
pip install requests
# 验证安装
python -c "import requests; print(requests.__version__)"

如果在尝试使用 python -m venv myenv 创建虚拟环境时遇到 “ensurepip is not available” 的错误，这意味着 Python 安装中缺少 ensurepip模块，该模块负责在虚拟环境中安装 pip。这个问题可能发生在某些 Python 安装中，特别是在某些 Linux 发行版上，它们可能没有包含ensurepip。
Jenkinns 虚拟机这个版本就没有包含 ensurepip。所以需要执行 sudo apt -y install python3.8-venv 命令
这条命令是在基于Debian的Linux系统（如Ubuntu）中使用 apt 包管理器安装 python3.8-venv 包的命令
python3.8-venv 包提供了 Python 3.8 的虚拟环境支持

18:42:18 + cat /proc/version
18:42:18 Linux version 5.15.0-1063-aws (buildd@lcy02-amd64-003) (gcc (Ubuntu 9.4.0-1ubuntu1~20.04.2) 9.4.0, GNU ld (GNU Binutils for Ubuntu) 2.34) #69~20.04.1-Ubuntu SMP Fri May 10 19:20:12 UTC 2024