python 使用seleniumwire获取响应数据

seleniumwire 是一个在 Selenium WebDriver 基础上扩展的库，它允许你在使用 Selenium 进行网页自动化测试或爬虫时捕获和修改 HTTP 请求和响应。这对于需要分析网页数据或进行更复杂的网络交互的自动化任务特别有用。

以下是如何使用 seleniumwire 来获取响应数据的步骤：

1. 安装 seleniumwire

首先，确保你已经安装了 Selenium。然后，你可以通过 pip 安装 seleniumwire：

pip install seleniumwire

2. 编写代码

使用 seleniumwire 类似于使用 Selenium，但你需要从 seleniumwire 而不是 selenium 导入 WebDriver。

from seleniumwire import webdriver# 设置 WebDriver 的路径（如果使用的是 ChromeDriver）
# 注意：根据你的系统环境，这里的路径可能需要调整
driver_path = 'path/to/your/chromedriver'# 初始化 WebDriver
driver = webdriver.Chrome(executable_path=driver_path)# 访问一个网页
driver.get('http://example.com')# 获取请求数据
for request in driver.requests:if request.response:print(request.url,request.response.status_code,request.response.headers['Content-Type'],len(request.response.body))# 获取并打印页面源代码（作为响应体的一部分）
print(driver.page_source)# 关闭浏览器
driver.quit()

3. 注意事项

• 确保 chromedriver 的版本与你的 Chrome 浏览器版本兼容。
• 在上面的代码中，driver.requests 是一个包含所有发出的 HTTP 请求的列表。你可以遍历这个列表来访问每个请求的详细信息，包括 URL、响应状态码、响应头等。
• request.response.body 包含了响应体的原始字节数据。如果你需要处理文本数据（如 HTML），可能需要将其解码（例如，使用 request.response.body.decode('utf-8')）。
• 使用 driver.page_source 可以获取当前页面的 HTML 源代码，这实际上是最后一个 HTTP GET 请求的响应体的一部分。

4. 捕获和修改请求/响应

seleniumwire 还允许你修改请求（如添加/修改 HTTP 头）和捕获响应的详细信息。这可以通过设置 driver.request_interceptor 和 driver.response_interceptor 来实现，这些拦截器允许你自定义请求和响应的处理方式。

希望这能帮助你开始使用 seleniumwire 来捕获和处理 HTTP 请求和响应！