Cython打包多层目录Python文件方法

为了使用Cython打包多层目录下的Python文件，并保持目录结构，请按照以下步骤操作：

步骤1：项目结构示例

假设项目结构如下：

myproject/setup.pysrc/__init__.pymodule1.pysubdir/__init__.pymodule2.py

步骤2：编写setup.py

使用递归方法处理所有子目录中的.py文件：

from setuptools import setup, find_packages
from Cython.Build import cythonize
from glob import glob
import os# 递归获取所有.py文件路径
def get_extensions():extensions = []for root, dirs, files in os.walk("src"):for file in files:if file.endswith(".py") and not file.startswith("__init__"):py_path = os.path.join(root, file)module_path = os.path.splitext(py_path)[0].replace(os.sep, ".")extensions.append(Extension(module_path, [py_path]))# 单独处理__init__.py文件for root, dirs, files in os.walk("src"):for file in files:if file == "__init__.py":py_path = os.path.join(root, file)module_path = os.path.splitext(py_path)[0].replace(os.sep, ".")extensions.append(Extension(module_path, [py_path]))return extensionssetup(name="myproject",ext_modules=cythonize(get_extensions(),compiler_directives={'language_level': "3"},build_dir="build"),packages=find_packages(where="src"),package_dir={"": "src"},zip_safe=False
)

步骤3：构建项目

执行以下命令编译代码（--inplace表示在源码目录生成二进制文件）：

python setup.py build_ext --inplace

步骤4：验证结构

编译后目录结构应变为：

myproject/build/src/__init__.cpython-xxx.somodule1.cpython-xxx.sosubdir/__init__.cpython-xxx.somodule2.cpython-xxx.so

步骤5：打包分发

生成wheel包：

python setup.py bdist_wheel

关键点说明

1. 递归处理文件：使用os.walk遍历所有子目录，动态生成扩展模块列表
2. 模块路径转换：将文件路径转换为点分模块名（如src/subdir/module2.py → src.subdir.module2）
3. 包含__init__文件：需单独处理以保持包结构
4. 保持目录结构：编译后的.so文件会生成在对应.py文件位置，保持原有导入方式
5. 兼容性处理：设置language_level="3"确保Python3兼容性

高级配置

• 排除特定文件：在get_extensions中添加过滤条件
• 优化选项：在cythonize中添加annotate=True等参数
• 依赖处理：通过setup()的install_requires参数添加依赖

这种方式可以保持项目原有结构，确保编译后的二进制文件能够像源码一样被正确导入和使用。

补充：打包环境信息

• docker镜像： python:3.9-slim

• 安装构件依赖：
  pip install cython
  apt-get update
  apt-get install -y gcc libc6-dev

• 编译库：python setup.py build_ext --inplace