爬虫工作量由小到大的思维转变---＜第四十五章 Scrapyd 关于gerapy遇到问题＞

前言:

本章主要是解决一些gerapy遇到的问题,会持续更新这篇!

正文:

问题1:

1400 - build.py - gerapy.server.core.build - 78 - build - error occurred (1, ['E:\\项目文件名\\venv\\Scripts\\python.exe', 'setup.py', 'clean', '-a', 'bdist_uberegg', '-d', 'C:\\Users\\Administrator\\AppData\\Local\\Temp\\gerapy-2ngnjwab'])
INFO - 2024-02-04 15:42:47,928 - process: 1400 - build.py - gerapy.server.core.build - 24 - build - successfully build project jihai to egg file None

------就是爬虫项目无法正常打包!

分析问题:

1.一开始以为是python版本的问题,然而不是的! 直接去缓存里面找错误日志:

2.调整思路

检查 setuptools 的版本

有时候问题可能与特定版本的 setuptools 有关。

1.检查依赖包版本号:

pip list

2.升级setuptools试试看:

pip install -U setuptools

---

3.搞定!

---

问题2:

描述:项目部署后,运行爬虫启动不起来;报错:

问题分析:

尽管使用的可能是 Twisted（一个异步网络框架，Scrapy 的依赖之一）和 Scrapyd，但在 Windows 系统上运行时，Twisted 需要 pywin32 来正确处理进程的启动。

解决:

环境下安装

pip install pywin32

成功:​​​​​​​