python爬虫5：requests库-案例3

python爬虫5：requests库-案例3

前言

​ python实现网络爬虫非常简单，只需要掌握一定的基础知识和一定的库使用技巧即可。本系列目标旨在梳理相关知识点，方便以后复习。

申明

​ 本系列所涉及的代码仅用于个人研究与讨论，并不会对网站产生不好影响。

目录结构

1. 目标

​ 本次案例的主要目标是帮助大家熟悉requests库中的会话维持技巧、代理构建等技巧。

​ 再次说明，案例本身并不重要，重要的是如何去使用和分析，另外为了避免侵权之类的问题，我不会放涉及到网站的图片，希望能理解。

2. 详细流程

2.1 代理池的构建

​ 代理池的作用之前已经讲过了，但是如何构建代理池呢？一般来说都是将那些可以使用的代理IP放入数据库中，后面写爬虫程序的时候再调用，因为代理池是可以一直使用的工具。

​ 我之前写过一个脚本，就是利用一个爬虫专门去爬免费代理网站的代理IP，然后再写个爬虫去爬取目标网站。不过这里，我们就简单来，把一些可用的代理IP放入一个字典中即可。

2.2 目标确定

​ 这次我换了一个小网站，具体地址我就不放了。

​ 首先，利用上一篇的知识，虚假登录获取data参数值，结果如下：

​ 可以发现的是，参数构建如下：

data = {'action' : 'user_login','username' : 账号,'password' : 密码,'rememberme' : 1
}

2.3 真实url确定

​ 在上一讲由于没能实际运行代码，所以忘记讲述这一点了。

​ 就是我们登录页面的url有时候并不是我们在网页上看到的url，比如这个案例中，我在网页上看到的登录网址为：

xxxxxx_login.html

​ 但是，实际上，我通过上面的POST页面，发现真实的网址其实是一个名为xxxxx.php页面，所以大家一定要以抓取的POST页面信息为准，才可以快准狠地登录成功。

2.4 代码

​ 有了上面的思路，代码就很简单了：

import requests
import time
# 网址
login_url = '真实登录网址'
home_url = '个人用户页面网址'
# 参数
username = input('请输入账号：')
password = input('请输入密码：')
data = {'action': 'user_login','username': username,'password': password,'rememberme': '1'
}
# header参数
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36',
}
# 代理池
proxies = {'http' :'http://ip:端口',xxxxx
}
# 请求
session = requests.session()
# 登录
session.post(login_url,headers=headers,data=data,proxies=proxies)
time.sleep(6)
# 访问个人主页
response = session.get(home_url,headers=headers)
# 查看结果
print(response.status_code)
# 把个人用户界面网页拷贝下来证明登录成功
with open('home.html','w',encoding='utf-8') as f:f.write(response.content.decode('utf-8'))

​ 这里又补充一个知识点，就是你可以把网页源码保存到本地，以html后缀格式存储，然后可以用浏览器打开，这样可以直观看到爬取的结果。

​ 此时，我这里的结果如下：

3. 总结

​ 到这篇文章为止，requests库就讲解完毕了，这里我简单总结一下写请求代码时最需要注意的点：

• headers参数不能忘记，现在网站最基本的都会排查headers参数
• 写登录爬虫时，一定要去通过浏览器提供的后台工具，结合我上篇和这篇的知识点，去抓取真实提交的POST页面，找到参数和真实url

​ 下一篇，开始讲解解析库的内容。