【笔记】Linux下编译Python3.10.15为动态库同时正确处理OpenSSL3依赖

之前自己第一次编译Python后发现pip会提示无法使用SSL，后来了解到是自己编译时没有配置OpenSSL。这个过程有点曲折，里面有一个坑，怕忘记于是写博客记录一下。

首先是下载OpenSSL，Python3.10.15支持此时最新版的OpenSSL 3.4.0，但是我建议下载3.0.2，过高版本openssl在运行时容易遇到动态库版本兼容性问题…

/usr/bin/openssl version

用这个命令查看系统中的openssl版本。不要省略/usr/bin，因为比如常用的conda环境会覆盖系统默认的OpenSSL。（嗯？你说系统里已经有openssl了，为啥还要下载源码自己编译，好问题…（好吧主要是我没找着系统里的openssl头文件在哪））

去github上找到源码，比如这是3.0.2版openssl的源码链接，看自己需要的版本

wget https://github.com/openssl/openssl/releases/download/openssl-3.0.2/openssl-3.0.2.tar.gz

然后解压出来，进入目录，配置：

./config -fPIC -shared --prefix=/home/hfcloud/Program/openssl-3.0.2/built-install

这里的配置注意把prefix设置为源代码文件下的built-install，不干扰系统中的openssl。注意替换为实际路径。然后就可以make和make install了

make -j16 && make install

等待完成，OpenSSL的头文件和库文件就会都在built-install这个文件夹内了，关键点来了，这里有一个巨坑，ls built-install文件夹，发现编译后OpenSSL的库文件夹名字为lib64，而不是lib，不知道从什么版本的OpenSSL开始名字变成lib64了，这会导致配置python时因为找不到OpenSSL的库文件而提示无法构建_ssl模块，

解决办法：
cd进入built-install文件夹后，创建一个软链接

ln -s lib64 lib

这样就解决了

接下来下载Python3.10.15的源代码

wget https://www.python.org/ftp/python/3.10.15/Python-3.10.15.tgz

解压并进入文件夹，进行配置:

./configure --enable-optimizations --enable-shared --with-openssl=/home/hfcloud/Program/openssl-3.0.2/built-install/ --with-openssl-rpath=auto

注意替换为自己的实际的路径

观察注意python的./configure的输出信息，应该有类似下面的输出：

checking for openssl/ssl.h in /home/hfcloud/Program/openssl-3.4.0/built-install/... yes
checking whether compiling and linking against OpenSSL works... yes
checking for --with-openssl-rpath... auto
checking whether OpenSSL provides required APIs... yes

检查头文件（yes），能够编译链接（yes），提供了需要的API（yes），这样才说明正确配置了OpenSSL依赖项目

然后就可以make构建python了，不必赘述。主要坑就是在编译后OpenSSL的库文件名字是lib64而不是lib，导致python始终找不到openssl库文件，坑掉了我2天时间。

此外，如果需要python交互式shell中tab自动补全，以及上下键查看命令历史的功能，需要系统中安装有readline和ncurses的SDK。例如在ubuntu22.04上，可以使用如下命令：

sudo apt-get install libreadline-dev libncurses-dev

注意，在make构建python过程中，在执行test之前有一个输出，类似这样：

The necessary bits to build these optional modules were not found:
_bz2                  _dbm                  _gdbm              
_sqlite3              _tkinter                                 

以及构建失败的模块的信息，可以在这里观察确认，OpenSSL是否真的构建成功。（当然build完了运行./python然后import _ssl也可以…)

其他问题

1. 为什么要自己编译Python而不用预构建的版本
   一是为了精简，预构建的Python附带了一些额外的不必要的库（比如tcl/tk）。还有就是预构建的二进制文件可能依赖了低版本的基础库，或是用低版本gcc编译器编译。我们自行编译可以使用高版本编译器的代码优化，以及高版本libc等基础库带来的性能提升和漏洞补丁。
2. 前面提到过高版本的OpenSSL的动态库版本兼容性问题是啥
   不知道为什么，哪怕是用patchelf指定了_ssl模块使用我们自己编译的3.4.10版本OpenSSL，import _ssl还是会报错说是系统里的libcrypto.so.3版本太低…无奈了，为了ubuntu22.04系统自带的openssl库兼容只好降版本到3.0.2了。