windows下python3.5+安装scrapy与创建项目

04
六月
2021

scrapy框架的安装与创建项目

scrapy安装:

相信第一次安装scrapy框架都会遇到各种安装不上的问题!哈哈,别问我为啥知道!
那我分享下我是如何安装scrapy框架的。

首先安装scrapy框架之前需要先安装几个依赖的库
依照顺序分别是 zope.interface、 pyOpenSSL、 libxml2dom、 twisted、 lxml、
最后再安装Scrapy

-i 后边是国内源链接
这儿给大家列几个国内源链接:

阿里云 http://mirrors.aliyun.com/pypi/simple/ 
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 
豆瓣(douban) http://pypi.douban.com/simple/ 
清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/ 
中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/

在这里给大家准备好了,方便copy

pip install zope.interface -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install  pyOpenSSL -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install libxml2dom -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install  twisted -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install lxml -i https://pypi.tuna.tsinghua.edu.cn/simple/
pip install Scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple/

当你安装好后,就可以来创建第一个scrapy项目了
在cmd下
cd到需要创建项目 的位置
输入 :scrapy startproject 项目名。
到这一步就可以看到在该路径下有了scrapy项目了
然后我们再创建一个爬虫,cd到创建好的项目目录下
cmd下输入:scrapy genspider 爬虫名 爬取网站的域名
当然不止这一种爬虫,scrapy还提供了规则爬虫
创建爬虫的时候输入:scrapy genspider -t crawl 爬虫名 爬取网站的域名

更多关于scrapy的内容可以浏览我的其他文章

TAG

网友评论

共有访客发表了评论
请登录后再发布评论,和谐社会,请文明发言,谢谢合作! 立即登录 注册会员