Scrapy与分布式开发(2.1.2):python常用网络请求库httpx
Python httpx 模块详细讲解
一、引言
httpx
是一个用于发送 HTTP 请求的 Python 库,它提供了简单易用的 API,支持同步和异步请求,并且具有出色的性能和灵活性。httpx
是 requests
的一个现代替代品,它使用 httpcore
作为底层传输层,支持 HTTP/1.1 和 HTTP/2 协议。
二、安装
你可以使用 pip
命令来安装 httpx
:
pip install httpx
三、基本用法
发送 GET 请求
import httpxresponse = httpx.get('https://www.example.com')
print(response.status_code) # 打印 HTTP 状态码
print(response.text) # 打印响应内容
发送 POST 请求
import httpxpayload = {'key': 'value'}
response = httpx.post('https://www.example.com/post', json=payload)
print(response.status_code)
print(response.text)
其他 HTTP 方法
httpx
同样支持 PUT、DELETE、HEAD 等其他 HTTP 方法。
response = httpx.put('https://www.example.com/put', json=payload)
response = httpx.delete('https://www.example.com/delete')
response = httpx.head('https://www.example.com/head')
四、响应处理
状态码
print(response.status_code) # 打印 HTTP 状态码
响应头
print(response.headers) # 打印响应头信息
响应内容
print(response.text) # 打印响应内容(字符串形式)
print(response.json()) # 如果响应内容是 JSON 格式,可以使用此方法解析
print(response.content) # 打印响应内容(字节形式)
错误处理
如果请求发生错误,httpx
会抛出一个 httpx.HTTPError
异常。你可以使用 try-except 语句来捕获这个异常。
try:response = httpx.get('https://www.example.com/invalid')print(response.text)
except httpx.HTTPError as err:print(err)
五、高级特性
参数传递
在 GET 请求中,你可以使用 params
参数来传递查询字符串。
payload = {'key1': 'value1', 'key2': 'value2'}
response = httpx.get('https://www.example.com/get', params=payload)
print(response.url) # 打印完整的 URL,包括查询字符串
自定义请求头
你可以使用 headers
参数为请求添加自定义的头部信息。
headers = {'User-Agent': 'my-app/0.0.1'}
response = httpx.get('https://www.example.com', headers=headers)
文件上传
使用 files
参数可以上传文件。
files = {'file': open('path/to/file', 'rb')}
response = httpx.post('https://www.example.com/upload', files=files)
认证
使用 auth
参数可以为请求添加 HTTP 认证。
from httpx import BasicAuthresponse = httpx.get('https://www.example.com', auth=BasicAuth('username', 'password'))
超时设置
使用 timeout
参数可以为请求设置超时时间。
response = httpx.get('https://www.example.com', timeout=5.0) # 超时时间为 5 秒
代理设置
使用 proxies
参数可以设置代理服务器。
proxies = {'http': 'http','https': 'http',
}response = httpx.get('https://www.example.com', proxies=proxies)
流式响应
对于大文件或长时间运行的响应,你可能想要以流的方式处理数据,而不是一次性加载整个响应体。httpx
支持流式响应,允许你按需读取数据。
import httpxwith httpx.stream('GET', 'https://www.example.com/large-file') as response:for chunk in response.iter_content(chunk_size=8192):# 处理每个数据块process(chunk)
客户端会话
与 requests
的 Session
类似,httpx
提供了 Client
和 AsyncClient
类,用于创建客户端会话。这允许你在多个请求之间重用底层连接,从而提高了性能。
import httpx# 创建同步客户端会话
with httpx.Client() as client:response1 = client.get('https://www.example.com/api/data1')response2 = client.get('https://www.example.com/api/data2')# 创建异步客户端会话
async with httpx.AsyncClient() as client:response1 = await client.get('https://www.example.com/api/data1')response2 = await client.get('https://www.example.com/api/data2')
连接池管理
httpx
使用了连接池来管理底层 TCP 连接,这有助于减少建立连接的开销。你可以通过配置 httpx.Client
或 httpx.AsyncClient
的连接池参数来定制连接池的行为。
# 同步客户端的连接池配置
with httpx.Client(limits=httpx.Limits(max_connections=100, max_keepalive=5)) as client:# ...# 异步客户端的连接池配置
async with httpx.AsyncClient(limits=httpx.AsyncLimits(max_connections=100, max_keepalive=5)) as client:# ...
请求和响应模型
httpx
提供了 Request
和 Response
类,这些类可以用来手动创建请求和响应对象。这在某些高级用法中可能很有用,例如当你需要更细粒度的控制时。
import httpx# 创建请求对象
request = httpx.Request('GET', 'https://www.example.com')# 发送请求并获取响应
with httpx.Client() as client:response = client.send(request)# 处理响应
print(response.status_code)
print(response.text)
错误处理
除了标准的 httpx.HTTPError
异常,httpx
还提供了其他异常类,用于处理不同的错误情况。
try:response = httpx.get('https://www.example.com/invalid')response.raise_for_status()
except httpx.HTTPError as exc:print(f"HTTP error occurred: {exc}")
except httpx.RequestError as exc:print(f"A request error occurred: {exc}")
except httpx.ConnectError as exc:print(f"Connection error occurred: {exc}")
工具和实用功能
httpx
还提供了一些实用的工具和函数,如 httpx.URL
类用于解析和处理 URL,httpx.codes
模块包含 HTTP 状态码常量等。
from httpx import URL, codes# 解析 URL
parsed_url = URL('https://www.example.com/path?query=value#fragment')
print(parsed_url.scheme) # 输出 'https'# 检查状态码是否表示成功
if response.status_code == codes.ok:# 处理成功的响应pass
相关文章:
Scrapy与分布式开发(2.1.2):python常用网络请求库httpx
Python httpx 模块详细讲解 一、引言 httpx 是一个用于发送 HTTP 请求的 Python 库,它提供了简单易用的 API,支持同步和异步请求,并且具有出色的性能和灵活性。httpx 是 requests 的一个现代替代品,它使用 httpcore 作为底层传输…...

07. Nginx进阶-Nginx负载均衡
简介 负载均衡 什么是负载均衡? 负载均衡,英文名称为Load Balance,其含义就是指将负载(工作任务)进行平衡、分摊到多个操作单元上进行运行。 Nginx负载均衡 什么是Nginx负载均衡? Nginx负载均衡可以大…...
windows/linux下其他位置调用指定nodejs脚本报错Error: Cannot find module ‘esm’
问题: 有一个nodejs脚本名为html2word,同目录下还有它对应的package.json,正常在html2word所在目录下执行脚本没问题,但是在其他目录执行时报错:Error: Cannot find module ‘esm’ 原因: 在其他位置执行node脚本时…...

2024-03-05 linux 分区老显示满,Use 100%,原因是SquashFS 是一种只读文件系统,它在创建时就已经被填满,所有空间都被使用。
一、这两天一直纠结一个问题,无论怎么修改,linux 分区老显示满,Use 100%,全部沾满。如下图的oem分区。 二、导致出现上面的原因是:SquashFS文件系统里的空间利用率总是显示为100%。 三、SDK里面也说明SquashFS文件系统…...

蓝桥杯倒计时 41天 - KMP 算法
KMP算法 KMP算法是一种字符串匹配算法,用于匹配模式串P在文本串S中出现的所有位置。 例如S“ababac,P“aba”,那么出现的所有位置是13。 在初学KMP时,我们只需要记住和学会使用模板即可,对其原理只需简单理解ÿ…...

《汇编语言》- 读书笔记 - 第13章-int 指令
《汇编语言》- 读书笔记 - 第13章-int 指令 13.1 int 指令13.2 编写供应用程序调用的中断例程中断例程:求一 word 型数据的平方主程序中断处理程序执行效果 中断例程:将一个全是字母,以0结尾的字符串,转化为大写主程序中断处理程序…...
深入了解 Golang 条件语句:if、else、else if 和嵌套 if 的实用示例
条件语句 用于根据不同的条件执行不同的操作。Go中的条件可以是真或假。Go支持数学中常见的比较运算符: 小于 < 小于等于 < 大于 > 大于等于 > 等于 不等于 ! 此外,Go还支持常见的逻辑运算符: 逻辑与 && 逻辑或…...

大数据和机器学习在气象预报中的应用-张平文院士
报告链接:张平文院士 -- 大数据和机器学习在气象预报中的应用_哔哩哔哩_bilibili...

C#高级:Winform桌面开发中DataGridView的详解
一、每条数据增加一个按钮,点击输出对应实体 请先确保正确添加实体的名称和文本: private void button6_Click(object sender, EventArgs e) {//SQL查询到数据,存于list中List<InforMessage> list bll.QueryInforMessage();//含有字段…...

java八股文复习-----2024/03/05----基础---反射,动态代理。序列化
来源一 大彬八股文 来源二 2023 20W字八股文 2024秋招八股文 1.Java创建对象有几种方式? Java创建对象有以下几种方式: 用new语句创建对象。使用反射,使用Class.newInstance()创建对象。调用对象的clone()方法。运用反序列化手段&#x…...
【人工智能】Anthropic发布强大的Claude3对齐GPT-4,大模型杂谈个人感想
北京时间3月5日,人工智能创业公司Anthropic宣布,推出其突破性的Claude 3系列模型。Claude 3系列包含三个子模型,分别为Claude 3 Haiku、Claude 3 Sonnet和Claude 3 Opus,它们提供不同程度的智能、速度和成本选择,以满足…...

基于openKylin与RISC-V的MindSpore AI项目实践
项目目标: 在openKylin系统上安装和配置MindSpore框架。开发一个简单的图像分类模型,并在RISC-V平台上进行训练和推理。根据RISC-V的特性,对MindSpore框架进行必要的优化。 目录 项目目标: 训练模型 编写训练代码,设…...

【牛客】VL64 时钟切换
描述 题目描述: 存在两个同步的倍频时钟clk0 clk1,已知clk0是clk1的二倍频,现在要设计一个切换电路,sel选择时候进行切换,要求没有毛刺。 信号示意图: 波形示意图: 输入描述: clk0 clk1为时…...
Java设计模式——桥连模式
桥接模式简单来说就是通过将抽象部分和具体部分分离,使它们可以独立地变化。如果你的一个类存在多个变化维度(如抽象和具体的实现)。若使用继承来处理这些变化,将会导致类层次结构的急剧增加,难以管理和维护。并且&…...

数据结构与算法:堆排序和TOP-K问题
朋友们大家好,本节内容来到堆的应用:堆排序和topk问题 堆排序 1.堆排序的实现1.1排序 2.TOP-K问题3.向上调整建堆与向下调整建堆3.1对比两种方法的时间复杂度 我们在c语言中已经见到过几种排序,冒泡排序,快速排序(qsor…...

【NR 定位】3GPP NR Positioning 5G定位标准解读(三)
目录 前言 5 NG-RAN UE定位架构 5.1 架构 5.2 UE定位操作 5.3 NG-RAN定位操作 5.3.1 通用NG-RAN定位操作 5.3.2 OTDOA定位支持 5.3.3 广播辅助信息支持 5.3.4 NR RAT相关定位支持 5.4 NG-RAN中与UE定位相关的元素功能描述 5.4.1 用户设备(UE) …...

文件操作与IO(3) 文件内容的读写——数据流
目录 一、流的概念 二、字节流代码演示 1、InputStream read方法 第一个没有参数的版本: 第二个带有byte数组的版本: 第三个版本 搭配Scanner的使用 2、OutputStream write方法 第一个版本: 第二个写入整个数组版本: …...

《PyTorch深度学习实践》第十一讲卷积神经网络进阶
一、 1、卷积核超参数选择困难,自动找到卷积的最佳组合。 2、1x1卷积核,不同通道的信息融合。使用1x1卷积核虽然参数量增加了,但是能够显著的降低计算量(operations) 3、Inception Moudel由4个分支组成,要分清哪些是在Init里定义…...

Ansible的playbook的编写和解析
目录 什么是playbook Ansible 的脚本 --- playbook 剧本 实例部署(使用playbook安装启动httpd服务) 1.编写一个.yaml文件 在主机下载安装http,将配置文件复制到opt目录下 运行playbook 在192.168.17.77主机上查看httpd服务是否成功开启…...

[环境配置]ssh连接报错“kex_exchange_identification: read: Connection reset by peer”
已经被VScode ssh毒死好几次了,都是执行命令意外中断,然后又VSCode里连不上、本机Terminal也连不上了。。。 重启远程服务器,VSCode可以连上了, 系统ssh还是不行,报错“kex_exchange_identification: read: Connecti…...

铭豹扩展坞 USB转网口 突然无法识别解决方法
当 USB 转网口扩展坞在一台笔记本上无法识别,但在其他电脑上正常工作时,问题通常出在笔记本自身或其与扩展坞的兼容性上。以下是系统化的定位思路和排查步骤,帮助你快速找到故障原因: 背景: 一个M-pard(铭豹)扩展坞的网卡突然无法识别了,扩展出来的三个USB接口正常。…...
《Playwright:微软的自动化测试工具详解》
Playwright 简介:声明内容来自网络,将内容拼接整理出来的文档 Playwright 是微软开发的自动化测试工具,支持 Chrome、Firefox、Safari 等主流浏览器,提供多语言 API(Python、JavaScript、Java、.NET)。它的特点包括&a…...

2.Vue编写一个app
1.src中重要的组成 1.1main.ts // 引入createApp用于创建应用 import { createApp } from "vue"; // 引用App根组件 import App from ./App.vue;createApp(App).mount(#app)1.2 App.vue 其中要写三种标签 <template> <!--html--> </template>…...

ServerTrust 并非唯一
NSURLAuthenticationMethodServerTrust 只是 authenticationMethod 的冰山一角 要理解 NSURLAuthenticationMethodServerTrust, 首先要明白它只是 authenticationMethod 的选项之一, 并非唯一 1 先厘清概念 点说明authenticationMethodURLAuthenticationChallenge.protectionS…...

pikachu靶场通关笔记22-1 SQL注入05-1-insert注入(报错法)
目录 一、SQL注入 二、insert注入 三、报错型注入 四、updatexml函数 五、源码审计 六、insert渗透实战 1、渗透准备 2、获取数据库名database 3、获取表名table 4、获取列名column 5、获取字段 本系列为通过《pikachu靶场通关笔记》的SQL注入关卡(共10关࿰…...
【生成模型】视频生成论文调研
工作清单 上游应用方向:控制、速度、时长、高动态、多主体驱动 类型工作基础模型WAN / WAN-VACE / HunyuanVideo控制条件轨迹控制ATI~镜头控制ReCamMaster~多主体驱动Phantom~音频驱动Let Them Talk: Audio-Driven Multi-Person Conversational Video Generation速…...

网站指纹识别
网站指纹识别 网站的最基本组成:服务器(操作系统)、中间件(web容器)、脚本语言、数据厍 为什么要了解这些?举个例子:发现了一个文件读取漏洞,我们需要读/etc/passwd,如…...

Yolov8 目标检测蒸馏学习记录
yolov8系列模型蒸馏基本流程,代码下载:这里本人提交了一个demo:djdll/Yolov8_Distillation: Yolov8轻量化_蒸馏代码实现 在轻量化模型设计中,**知识蒸馏(Knowledge Distillation)**被广泛应用,作为提升模型…...

处理vxe-table 表尾数据是单独一个接口,表格tableData数据更新后,需要点击两下,表尾才是正确的
修改bug思路: 分别把 tabledata 和 表尾相关数据 console.log() 发现 更新数据先后顺序不对 settimeout延迟查询表格接口 ——测试可行 升级↑:async await 等接口返回后再开始下一个接口查询 ________________________________________________________…...

RabbitMQ入门4.1.0版本(基于java、SpringBoot操作)
RabbitMQ 一、RabbitMQ概述 RabbitMQ RabbitMQ最初由LShift和CohesiveFT于2007年开发,后来由Pivotal Software Inc.(现为VMware子公司)接管。RabbitMQ 是一个开源的消息代理和队列服务器,用 Erlang 语言编写。广泛应用于各种分布…...