python virtualenv

# Python版本管理工具pyenv一个老码农的实践笔记它是什么说到Python版本管理很多人第一个想到的就是pyenv。这东西说白了就是个Python版本切换器但又不只是个切换器。打个比方你家里有好几把不同尺寸的螺丝刀pyenv就像是那个能让你随便换螺丝刀头的工具箱但它还顺便帮你把螺丝刀都收好、保养好。从技术上讲pyenv是一个shell级别的Python版本管理工具。它通过修改环境变量PATH来实现Python版本的切换不会动你系统里已经安装的Python。它的工作原理挺巧妙的——在你执行python命令时通过shell的路径查找机制拦截掉系统默认的Python转而使用你指定的版本。它能做什么pyenv最核心的价值在于解决那个老生常谈的问题不同项目需要不同Python版本。比如你在维护一个老项目它还在用Python 2.7而新项目已经要用Python 3.12了。用pyenv你可以在同一台机器上同时装好这两个版本随时切换。除了基本的版本切换pyenv还能做几件挺实用的事情自动切换版本。你在项目根目录放一个.python-version文件里面写上版本号。进到这个目录pyenv自动切到对应版本出去了自动切回全局设置。这个特性我每天都用特别省心。安装多个Python版本。用pyenv install命令可以安装从2.1到3.12的几乎所有版本。它会自动处理编译依赖大部分情况下你只要等着就好。配合virtualenv使用。虽然pyenv本身没虚拟环境功能但有pyenv-virtualenv这个插件能让虚拟环境管理和版本管理完美结合。怎么使用安装pyenv其实挺简单的但有几个小坑要注意。我推荐用git clone的方式gitclone https://github.com/pyenv/pyenv.git ~/.pyenv然后要把pyenv加到shell的启动文件里。用bash的话在.bashrc加这几行exportPYENV_ROOT$HOME/.pyenvexportPATH$PYENV_ROOT/bin:$PATHeval$(pyenv init -)这里有个常见的坑eval $(pyenv init -)这行必须放在最后因为它要确保pyenv能接管python命令。基本命令就那么几个# 查看可安装的版本pyenvinstall--list# 安装某个版本pyenvinstall3.12.0# 设置全局版本pyenv global3.12.0# 设置某个目录的版本pyenvlocal3.11.5# 查看已安装的版本pyenv versions说到安装在中国网络环境下pyenv install经常因为下载慢而失败。有个小技巧先用wget或者迅雷把Python源码包下载到~/.pyenv/cache目录然后再安装。或者设置环境变量用国内的镜像源。最佳实践用了这么多年pyenv总结几条经验全局版本别设太高。很多人图新鲜设个Python 3.12当全局版本结果发现好多老工具不兼容。我一般全局设3.10或者3.11既稳定又能用最新的特性。项目版本用文件锁定。在项目的根目录创建.python-version写清楚版本号。最好把这个文件也提交到git仓库这样团队其他人拉代码后进目录就自动切换好了。结合pyenv-virtualenv使用。每个项目建独立的虚拟环境命名规则建议是“项目名-Python版本”比如myproject-3.11.5。这样既清晰又方便管理。定期清理不用版本。pyenv uninstall删掉那些不再维护的老版本。但小心生产环境的项目依赖的版本一定要保留。遇到编译问题别慌。pyenv install失败大多是因为缺少某些系统库。Ubuntu上缺什么就apt-get install什么macOS的话用brew。实在不行Google一下错误信息八成有人遇到过。和同类技术对比Python版本管理这块还有几个选手值得一提。conda。这是Anaconda带的专门为数据科学场景设计。它不光管Python版本还能管理R、Julia这些语言以及一大堆科学计算库。但是conda有点重装个东西能带上一堆依赖。如果你只是写Web应用或者脚本用conda有点杀鸡用牛刀。virtualenv。这是最老牌的虚拟环境工具。但它只管虚拟环境不管Python版本。用它的话你得先自己装好不同版本的Python然后用virtualenv -p指定。相比之下pyenv把版本管理和虚拟环境管理结合得更自然。docker。有人用Docker来隔离Python环境这当然可行而且隔离得更彻底。但代价是每次改代码都得重新build镜像开发调试的体验不如直接在宿主机上操作。Docker更适合部署场景。poetry。这个工具野心比较大它想包揽依赖管理、打包发布、虚拟环境管理所有事情。pyenv加pip的用法在poetry面前显得有点原始。但是poetry的学习曲线比较陡而且有时候会做一些出乎意料的操作。我倾向于在项目管理比较规范的大项目上用poetry自己写的小工具还是用pyenv加pip这种简单组合。# 聊virtualenv之前得先说说Python项目依赖管理的那点破事。你肯定遇到过项目A需要Flask 1.0项目B需要Flask 2.0结果pip一装两个项目互相打架最后所有东西都乱成一锅粥。这就好比你给房间装了十种不同牌子的路由器WiFi信号互相干扰谁都没法好好上网。virtualenv就是来解决这个问题的——它为每个Python项目建一个独立的小隔间每个隔间里装自己的Python解释器和第三方库互不打扰。先说virtualenv到底是什么。它本质上是个脚本工具能在你的系统里克隆一份纯粹的Python环境。这个克隆版不包含任何第三方库只有最基础的Python解释器和标准库。你在这个环境里装的任何包都只影响这个环境系统其他的Python环境碰都不碰一下。你会发现自己的项目目录下会多出一个名为venv或者env的文件夹里面bin子目录下有个python可执行文件这就是它的内核。它能做的其实就是两件事隔离和管理。隔离大家都懂但管理这块容易被忽视。比如你项目A依赖Django 3.2项目B依赖Django 4.0你不需要在系统里装两个版本的Django。你只需要为项目A建一个virtualenv装3.2为项目B建另一个装4.0两个环境井水不犯河水。更妙的是你还可以通过pip freeze把这个环境里所有包的版本号导成一个requirements.txt文件别人拿到这个文件后只要pip install -r requirements.txt就能完全复刻你的环境。这就跟做饭时留下菜谱一样别人照着做味道八九不离十。具体怎么使从Python 3.3开始标准库里已经自带了venv模块不用再pip install virtualenv了。我习惯直接在项目根目录下执行python3 -m venv .venv这个命令会在当前目录生成一个叫.venv的文件夹很多人喜欢叫venv或者env我选dot开头因为Linux下默认隐藏看着清爽。然后激活它在Mac或Linux上跑source .venv/bin/activate在Windows上跑.venv\Scripts\activate。激活后终端前面会多个(.venv)前缀这时候你执行python或者pip用的都是这个环境里的解释器。干完活想退出直接敲deactivate就行。有一个很容易掉进去的小坑千万别把这个.venv文件夹提交到Git仓库里去。.gitignore里加上它只用一行省得同事拉下你一整个环境的缓存文件动辄几十MB的垃圾。聊到最佳实践有个习惯我养成了很多年不管项目多小哪怕只有几百行代码只要我想在里面装任何第三方库第一时间就先建virtualenv。这个习惯救过我不少次。有一次接了个老项目里面用的还是Python 2.7和Django 1.11如果当时我图省事直接在系统环境里装东西那后面升级或者维护新项目时肯定会因为包版本冲突搞得焦头烂额。还有建议把你每个项目用的virtualenv命名统一比如都用.venv这样你的编辑器比如VS Code或PyCharm能自动识别并切换到正确的Python解释器。如果你写项目A编辑器却自动关联了项目B的virtualenvimport时会报找不到模块——这种诡异问题遇过一次就知道多折腾了。说到同类技术不得不提conda。conda不仅管Python还能管数据科学常用的C库比如numpy底层用的那些。简单类比的话virtualenv就是个专攻Python的装修队只动你Python环境这块conda像个全能家政公司厨房厕所全包了但体量也大。如果你的项目纯Pythonvirtualenv更轻量、更专注。有些人还喜欢用pipenv它把virtualenv和pip包管理揉在一起思路挺好但实际用起来总感觉多了一堆Pipfile.lock文件要维护加减包时也容易踩坑。还有一个叫poetry的做得更现代化用pyproject.toml替代了requirements.txt对于有强迫症的爱整洁的程序员来说算一种享受但学习曲线比virtualenv陡。我个人的经验是如果只是个写几个脚本或者一个web应用的小团队virtualenv完全够用不出怪事、不出新概念。如果团队里数据科学项目多或者要部署到不同操作系统上可以听听conda的建议。说到底virtualenv就是Python工具箱里特别不起眼、但缺了它会寸步难行的小扳手。它不像框架那么炫也不像调试工具那么复杂但有了它你的项目才能在一个干净的天地里自由生长否则只会陷入依赖地狱什么都写不安稳。说到底选哪个工具看你具体需求。如果只是需要偶尔在不同Python版本间切换pyenv就够用了。如果要处理复杂的科学计算环境conda更合适。要是团队项目需要严格的依赖锁定poetry值得一试。工具嘛够用就好不用追求花里胡哨。