python爬虫——爬虫伪装和反“反爬”

前言

爬虫伪装和反“反爬”是在爬虫领域中非常重要的话题。伪装可以让你的爬虫看起来更像普通的浏览器或者应用程序，从而减少被服务器封禁的风险；反“反爬”则是应对服务器加强的反爬虫机制。下面将详细介绍一些常见的伪装和反反爬技巧，并提供对应的代码案例。

 

1. User-Agent伪装

User-Agent是HTTP请求头的一部分，其中包含了浏览器、手机等使用的应用程序的信息。在爬虫中，使用默认的User-Agent，或者使用爬虫常用的User-Agent，容易被服务器识别为机器人，因此我们需要伪装User-Agent。使用Python中的requests库可以方便地添加User-Agent头。

import requests# 设置User-Agent头
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}# 请求URL
url = 'https://www.example.com'# 发送请求
response = requests.get(url, headers=headers)# 输出响应内容
print(response.text)

2. IP代理

单个IP频繁访问服务器容易被封禁，因此我们可以使用IP代理来访问网站。IP代理有免费和付费的，这里我们使用免费的IP代理。使用Python中的requests库可以方便地设置代理服务器。

import requests# 设置代理服务器
proxies = {'http': 'http://127.0.0.1:1080','https': 'https://127.0.0.1:1080'
}# 请求URL
url = 'https://www.example.com'# 发送请求
response = requests.get(url, proxies=proxies)# 输出响应内容
print(response.text)

3. 随机访问时间间隔

频繁访问服务器容易被识别为机器人，因此我们需要模拟人类访问网站的行为，随机设置访问时间间隔。使用Python中的time库可以方便地设置访问时间间隔。

import requests
import time
import random# 设置User-Agent头
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}# 请求URL
url = 'https://www.example.com'# 随机访问时间间隔
time.sleep(random.randint(0, 3))# 发送请求
response = requests.get(url, headers=headers)# 输出响应内容
print(response.text)

4. Cookie伪装

有些网站需要登录才能访问，我们需要在访问网站时携带cookie，以模拟登录状态。使用Python中的requests库可以方便地设置cookie。

import requests# 设置User-Agent头
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}# 设置cookie
cookies = {'sessionid': 'xxxx'
}# 请求URL
url = 'https://www.example.com'# 发送请求
response = requests.get(url, headers=headers, cookies=cookies)# 输出响应内容
print(response.text)

5. 使用验证码识别库

有些网站需要进行验证码识别，我们可以使用OCR等技术进行识别。这里我们使用Python中的Tesseract-OCR库对验证码进行识别。

import requests
import pytesseract
from PIL import Image# 设置User-Agent头
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}# 请求验证码图片
url = 'https://www.example.com/captcha.png'
response = requests.get(url, headers=headers)# 保存验证码图片
with open('captcha.png', 'wb') as f:f.write(response.content)# 对验证码图片进行识别
captcha_image = Image.open('captcha.png')
captcha_text = pytesseract.image_to_string(captcha_image)# 输出验证码文本
print(captcha_text)

6. 动态解析页面

有些网站会在前端使用JS异步加载数据，此时需要使用Selenium等工具对页面进行动态解析。这里我们使用Python中的Selenium库来模拟浏览器访问网站。

from selenium import webdriver# 设置User-Agent头
options = webdriver.ChromeOptions()
options.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3')# 请求URL
url = 'https://www.example.com'# 使用Selenium打开网页
driver = webdriver.Chrome(options=options)
driver.get(url)# 执行JS代码
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")# 获取响应内容
response = driver.page_source# 输出响应内容
print(response)# 关闭浏览器
driver.quit()

7. 多账号轮流使用

如果一个账号频繁访问被封禁，我们可以使用多个账号轮流访问网站。这里我们使用Python中的random库来随机选择账号。

import requests
import random# 用户列表
users = [{'username': 'user1', 'password': 'password1'},{'username': 'user2', 'password': 'password2'},{'username': 'user3', 'password': 'password3'}
]# 随机选择一个账号
user = random.choice(users)# 构造登录信息
data = {'username': user['username'],'password': user['password']
}# 请求登录URL
login_url = 'https://www.example.com/login'
response = requests.post(login_url, data=data)# 输出响应内容
print(response.text)

总结

总的来说，伪装的目的是让爬虫看起来更像人类行为，反“反爬”的目的是应对复杂的反爬虫机制。在实际爬虫项目中，需要根据具体情况选择合适的伪装和反“反爬”技巧。