scrapyd-完整细节

安装scrapyd服务

pip install scrapyd

安装scrapyd客户端

pip install scrapyd-client

安装好以后重新开启cmd输入命令

scrapyd

 出现以下结果代表安装成功

打开浏览器输入网址，即可打开界面客户端

http://127.0.0.1:6800/

回车后显示一下ok内容代表部署成功

 回到服务刷新就可以看到我们刚刚部署的项目了

执行部分

进入地址下载应用程序-下载安装curl

curl - Download

 点版本号哪里进去找下载

解下文件后进入到bin目录下复制完整目录，部署到环境变量

系统环境变量

然后在进入path环境变量输入

%CURL_HOME%\l386

然后cmd  输入 curl --help

执行刚刚部署的爬虫，project对应项目名称spider对应爬虫名称，跟scrapy里面的要一样

curl http://127.0.0.1:6800/schedule.json -d project=HangKong -d spider=hangkong

 如果报一下错误，终端显示ok但是服务端报错

重开cmd安装一下命令，然后重启scrapyd服务端即可解决

pip install pywin32

然后再去执行启动爬虫命令，不报错了，且在前端可以看到执行日志