项目十二：简单的python基础爬虫训练

许久未见，甚是想念，今日好运，为你带好运。ok，废话不多说，希望这门案例能带你直接快速了解并运用。🎁💖

基础流程

第一步：安装需要用到的requests库，命令如下

pip install requests

第二步：随意找个目标网址

url = '目标网址'

第三步：发送请求get响应

req = requests.get(url)

第四步：打印响应信息

print(req_text)

完整代码如下

import requests #导入库
url = 'http://gitbook.cn/' #目标网址
req = requests.get(url) #发送请求
print(req.text) #打印信息

输出结果

ok,这四步流程就是走完了，接下来就是怎么把爬取的数据保存下来，那么继续往下看。

存储数据

存储数据的格式有很多种，例如csv、html、spl、xls等，全看个人意愿选择。基本代码如下

with open('./文件名称路径', '文件操作模式', encoding = '编码格式') as fp:fp.write(page_text) #括号内容为变量，包含要写入的文本内容

最终代码如下

import requests # 导入requests模块
url = 'https://www.sogou.com' # 要爬取的网址
req = requests.get(url) # 发起请求
page_text = req.text # 获取网页内容
print(page_text) # 此行代码可以不加，看个人喜好，不影响程序运行
with open('./sogou.html', 'w', encoding = 'utf-8') as fp: # 保存网页内容到本地fp.write(page_text) # 写入文件

输出结果：

这些简单的爬虫流程我们从爬取数据到存储数据就是做完了，是不是很简单啊，当然，对任何事物还是要保持敬畏之心和上进之心。

我是好运，想要好运，今日分享，到此一游