当前位置: 首页 > news >正文

Scrapy与分布式开发(2.1.2):python常用网络请求库httpx

Python httpx 模块详细讲解

一、引言

httpx 是一个用于发送 HTTP 请求的 Python 库,它提供了简单易用的 API,支持同步和异步请求,并且具有出色的性能和灵活性。httpxrequests 的一个现代替代品,它使用 httpcore 作为底层传输层,支持 HTTP/1.1 和 HTTP/2 协议。

二、安装

你可以使用 pip 命令来安装 httpx

pip install httpx

三、基本用法

发送 GET 请求

import httpxresponse = httpx.get('https://www.example.com')
print(response.status_code)  # 打印 HTTP 状态码
print(response.text)         # 打印响应内容

发送 POST 请求

import httpxpayload = {'key': 'value'}
response = httpx.post('https://www.example.com/post', json=payload)
print(response.status_code)
print(response.text)

其他 HTTP 方法

httpx 同样支持 PUT、DELETE、HEAD 等其他 HTTP 方法。

response = httpx.put('https://www.example.com/put', json=payload)
response = httpx.delete('https://www.example.com/delete')
response = httpx.head('https://www.example.com/head')

四、响应处理

状态码

print(response.status_code)  # 打印 HTTP 状态码

响应头

print(response.headers)  # 打印响应头信息

响应内容

print(response.text)      # 打印响应内容(字符串形式)
print(response.json())    # 如果响应内容是 JSON 格式,可以使用此方法解析
print(response.content)   # 打印响应内容(字节形式)

错误处理

如果请求发生错误,httpx 会抛出一个 httpx.HTTPError 异常。你可以使用 try-except 语句来捕获这个异常。

try:response = httpx.get('https://www.example.com/invalid')print(response.text)
except httpx.HTTPError as err:print(err)

五、高级特性

参数传递

在 GET 请求中,你可以使用 params 参数来传递查询字符串。

payload = {'key1': 'value1', 'key2': 'value2'}
response = httpx.get('https://www.example.com/get', params=payload)
print(response.url)  # 打印完整的 URL,包括查询字符串

自定义请求头

你可以使用 headers 参数为请求添加自定义的头部信息。

headers = {'User-Agent': 'my-app/0.0.1'}
response = httpx.get('https://www.example.com', headers=headers)

文件上传

使用 files 参数可以上传文件。

files = {'file': open('path/to/file', 'rb')}
response = httpx.post('https://www.example.com/upload', files=files)

认证

使用 auth 参数可以为请求添加 HTTP 认证。

from httpx import BasicAuthresponse = httpx.get('https://www.example.com', auth=BasicAuth('username', 'password'))

超时设置

使用 timeout 参数可以为请求设置超时时间。

response = httpx.get('https://www.example.com', timeout=5.0)  # 超时时间为 5 秒

代理设置

使用 proxies 参数可以设置代理服务器。

proxies = {'http': 'http','https': 'http',
}response = httpx.get('https://www.example.com', proxies=proxies)

流式响应

对于大文件或长时间运行的响应,你可能想要以流的方式处理数据,而不是一次性加载整个响应体。httpx 支持流式响应,允许你按需读取数据。

import httpxwith httpx.stream('GET', 'https://www.example.com/large-file') as response:for chunk in response.iter_content(chunk_size=8192):# 处理每个数据块process(chunk)

客户端会话

requestsSession 类似,httpx 提供了 ClientAsyncClient 类,用于创建客户端会话。这允许你在多个请求之间重用底层连接,从而提高了性能。

import httpx# 创建同步客户端会话
with httpx.Client() as client:response1 = client.get('https://www.example.com/api/data1')response2 = client.get('https://www.example.com/api/data2')# 创建异步客户端会话
async with httpx.AsyncClient() as client:response1 = await client.get('https://www.example.com/api/data1')response2 = await client.get('https://www.example.com/api/data2')

连接池管理

httpx 使用了连接池来管理底层 TCP 连接,这有助于减少建立连接的开销。你可以通过配置 httpx.Clienthttpx.AsyncClient 的连接池参数来定制连接池的行为。

# 同步客户端的连接池配置
with httpx.Client(limits=httpx.Limits(max_connections=100, max_keepalive=5)) as client:# ...# 异步客户端的连接池配置
async with httpx.AsyncClient(limits=httpx.AsyncLimits(max_connections=100, max_keepalive=5)) as client:# ...

请求和响应模型

httpx 提供了 RequestResponse 类,这些类可以用来手动创建请求和响应对象。这在某些高级用法中可能很有用,例如当你需要更细粒度的控制时。

import httpx# 创建请求对象
request = httpx.Request('GET', 'https://www.example.com')# 发送请求并获取响应
with httpx.Client() as client:response = client.send(request)# 处理响应
print(response.status_code)
print(response.text)

错误处理

除了标准的 httpx.HTTPError 异常,httpx 还提供了其他异常类,用于处理不同的错误情况。

try:response = httpx.get('https://www.example.com/invalid')response.raise_for_status()
except httpx.HTTPError as exc:print(f"HTTP error occurred: {exc}")
except httpx.RequestError as exc:print(f"A request error occurred: {exc}")
except httpx.ConnectError as exc:print(f"Connection error occurred: {exc}")

工具和实用功能

httpx 还提供了一些实用的工具和函数,如 httpx.URL 类用于解析和处理 URL,httpx.codes 模块包含 HTTP 状态码常量等。

from httpx import URL, codes# 解析 URL
parsed_url = URL('https://www.example.com/path?query=value#fragment')
print(parsed_url.scheme)  # 输出 'https'# 检查状态码是否表示成功
if response.status_code == codes.ok:# 处理成功的响应pass

相关文章:

Scrapy与分布式开发(2.1.2):python常用网络请求库httpx

Python httpx 模块详细讲解 一、引言 httpx 是一个用于发送 HTTP 请求的 Python 库,它提供了简单易用的 API,支持同步和异步请求,并且具有出色的性能和灵活性。httpx 是 requests 的一个现代替代品,它使用 httpcore 作为底层传输…...

07. Nginx进阶-Nginx负载均衡

简介 负载均衡 什么是负载均衡? 负载均衡,英文名称为Load Balance,其含义就是指将负载(工作任务)进行平衡、分摊到多个操作单元上进行运行。 Nginx负载均衡 什么是Nginx负载均衡? Nginx负载均衡可以大…...

windows/linux下其他位置调用指定nodejs脚本报错Error: Cannot find module ‘esm’

问题: 有一个nodejs脚本名为html2word,同目录下还有它对应的package.json,正常在html2word所在目录下执行脚本没问题,但是在其他目录执行时报错:Error: Cannot find module ‘esm’ 原因: 在其他位置执行node脚本时…...

2024-03-05 linux 分区老显示满,Use 100%,原因是SquashFS 是一种只读文件系统,它在创建时就已经被填满,所有空间都被使用。

一、这两天一直纠结一个问题,无论怎么修改,linux 分区老显示满,Use 100%,全部沾满。如下图的oem分区。 二、导致出现上面的原因是:SquashFS文件系统里的空间利用率总是显示为100%。 三、SDK里面也说明SquashFS文件系统…...

蓝桥杯倒计时 41天 - KMP 算法

KMP算法 KMP算法是一种字符串匹配算法,用于匹配模式串P在文本串S中出现的所有位置。 例如S“ababac,P“aba”,那么出现的所有位置是13。 在初学KMP时,我们只需要记住和学会使用模板即可,对其原理只需简单理解&#xff…...

《汇编语言》- 读书笔记 - 第13章-int 指令

《汇编语言》- 读书笔记 - 第13章-int 指令 13.1 int 指令13.2 编写供应用程序调用的中断例程中断例程:求一 word 型数据的平方主程序中断处理程序执行效果 中断例程:将一个全是字母,以0结尾的字符串,转化为大写主程序中断处理程序…...

深入了解 Golang 条件语句:if、else、else if 和嵌套 if 的实用示例

条件语句 用于根据不同的条件执行不同的操作。Go中的条件可以是真或假。Go支持数学中常见的比较运算符&#xff1a; 小于 < 小于等于 < 大于 > 大于等于 > 等于 不等于 ! 此外&#xff0c;Go还支持常见的逻辑运算符&#xff1a; 逻辑与 && 逻辑或…...

大数据和机器学习在气象预报中的应用-张平文院士

报告链接&#xff1a;张平文院士 -- 大数据和机器学习在气象预报中的应用_哔哩哔哩_bilibili...

C#高级:Winform桌面开发中DataGridView的详解

一、每条数据增加一个按钮&#xff0c;点击输出对应实体 请先确保正确添加实体的名称和文本&#xff1a; private void button6_Click(object sender, EventArgs e) {//SQL查询到数据&#xff0c;存于list中List<InforMessage> list bll.QueryInforMessage();//含有字段…...

java八股文复习-----2024/03/05----基础---反射,动态代理。序列化

来源一 大彬八股文 来源二 2023 20W字八股文 2024秋招八股文 1.Java创建对象有几种方式&#xff1f; Java创建对象有以下几种方式&#xff1a; 用new语句创建对象。使用反射&#xff0c;使用Class.newInstance()创建对象。调用对象的clone()方法。运用反序列化手段&#x…...

【人工智能】Anthropic发布强大的Claude3对齐GPT-4,大模型杂谈个人感想

北京时间3月5日&#xff0c;人工智能创业公司Anthropic宣布&#xff0c;推出其突破性的Claude 3系列模型。Claude 3系列包含三个子模型&#xff0c;分别为Claude 3 Haiku、Claude 3 Sonnet和Claude 3 Opus&#xff0c;它们提供不同程度的智能、速度和成本选择&#xff0c;以满足…...

基于openKylin与RISC-V的MindSpore AI项目实践

项目目标&#xff1a; 在openKylin系统上安装和配置MindSpore框架。开发一个简单的图像分类模型&#xff0c;并在RISC-V平台上进行训练和推理。根据RISC-V的特性&#xff0c;对MindSpore框架进行必要的优化。 目录 项目目标&#xff1a; 训练模型 编写训练代码&#xff0c;设…...

【牛客】VL64 时钟切换

描述 题目描述&#xff1a; 存在两个同步的倍频时钟clk0 clk1,已知clk0是clk1的二倍频&#xff0c;现在要设计一个切换电路&#xff0c;sel选择时候进行切换&#xff0c;要求没有毛刺。 信号示意图&#xff1a; 波形示意图&#xff1a; 输入描述&#xff1a; clk0 clk1为时…...

Java设计模式——桥连模式

桥接模式简单来说就是通过将抽象部分和具体部分分离&#xff0c;使它们可以独立地变化。如果你的一个类存在多个变化维度&#xff08;如抽象和具体的实现&#xff09;。若使用继承来处理这些变化&#xff0c;将会导致类层次结构的急剧增加&#xff0c;难以管理和维护。并且&…...

数据结构与算法:堆排序和TOP-K问题

朋友们大家好&#xff0c;本节内容来到堆的应用&#xff1a;堆排序和topk问题 堆排序 1.堆排序的实现1.1排序 2.TOP-K问题3.向上调整建堆与向下调整建堆3.1对比两种方法的时间复杂度 我们在c语言中已经见到过几种排序&#xff0c;冒泡排序&#xff0c;快速排序&#xff08;qsor…...

【NR 定位】3GPP NR Positioning 5G定位标准解读(三)

目录 前言 5 NG-RAN UE定位架构 5.1 架构 5.2 UE定位操作 5.3 NG-RAN定位操作 5.3.1 通用NG-RAN定位操作 5.3.2 OTDOA定位支持 5.3.3 广播辅助信息支持 5.3.4 NR RAT相关定位支持 5.4 NG-RAN中与UE定位相关的元素功能描述 5.4.1 用户设备&#xff08;UE&#xff09; …...

文件操作与IO(3) 文件内容的读写——数据流

目录 一、流的概念 二、字节流代码演示 1、InputStream read方法 第一个没有参数的版本&#xff1a; 第二个带有byte数组的版本&#xff1a; 第三个版本 搭配Scanner的使用 2、OutputStream write方法 第一个版本&#xff1a; 第二个写入整个数组版本&#xff1a; …...

《PyTorch深度学习实践》第十一讲卷积神经网络进阶

一、 1、卷积核超参数选择困难&#xff0c;自动找到卷积的最佳组合。 2、1x1卷积核&#xff0c;不同通道的信息融合。使用1x1卷积核虽然参数量增加了&#xff0c;但是能够显著的降低计算量(operations) 3、Inception Moudel由4个分支组成&#xff0c;要分清哪些是在Init里定义…...

Ansible的playbook的编写和解析

目录 什么是playbook Ansible 的脚本 --- playbook 剧本 实例部署&#xff08;使用playbook安装启动httpd服务&#xff09; 1.编写一个.yaml文件 在主机下载安装http&#xff0c;将配置文件复制到opt目录下 运行playbook 在192.168.17.77主机上查看httpd服务是否成功开启…...

[环境配置]ssh连接报错“kex_exchange_identification: read: Connection reset by peer”

已经被VScode ssh毒死好几次了&#xff0c;都是执行命令意外中断&#xff0c;然后又VSCode里连不上、本机Terminal也连不上了。。。 重启远程服务器&#xff0c;VSCode可以连上了&#xff0c; 系统ssh还是不行&#xff0c;报错“kex_exchange_identification: read: Connecti…...

铭豹扩展坞 USB转网口 突然无法识别解决方法

当 USB 转网口扩展坞在一台笔记本上无法识别,但在其他电脑上正常工作时,问题通常出在笔记本自身或其与扩展坞的兼容性上。以下是系统化的定位思路和排查步骤,帮助你快速找到故障原因: 背景: 一个M-pard(铭豹)扩展坞的网卡突然无法识别了,扩展出来的三个USB接口正常。…...

《Playwright:微软的自动化测试工具详解》

Playwright 简介:声明内容来自网络&#xff0c;将内容拼接整理出来的文档 Playwright 是微软开发的自动化测试工具&#xff0c;支持 Chrome、Firefox、Safari 等主流浏览器&#xff0c;提供多语言 API&#xff08;Python、JavaScript、Java、.NET&#xff09;。它的特点包括&a…...

2.Vue编写一个app

1.src中重要的组成 1.1main.ts // 引入createApp用于创建应用 import { createApp } from "vue"; // 引用App根组件 import App from ./App.vue;createApp(App).mount(#app)1.2 App.vue 其中要写三种标签 <template> <!--html--> </template>…...

ServerTrust 并非唯一

NSURLAuthenticationMethodServerTrust 只是 authenticationMethod 的冰山一角 要理解 NSURLAuthenticationMethodServerTrust, 首先要明白它只是 authenticationMethod 的选项之一, 并非唯一 1 先厘清概念 点说明authenticationMethodURLAuthenticationChallenge.protectionS…...

pikachu靶场通关笔记22-1 SQL注入05-1-insert注入(报错法)

目录 一、SQL注入 二、insert注入 三、报错型注入 四、updatexml函数 五、源码审计 六、insert渗透实战 1、渗透准备 2、获取数据库名database 3、获取表名table 4、获取列名column 5、获取字段 本系列为通过《pikachu靶场通关笔记》的SQL注入关卡(共10关&#xff0…...

【生成模型】视频生成论文调研

工作清单 上游应用方向&#xff1a;控制、速度、时长、高动态、多主体驱动 类型工作基础模型WAN / WAN-VACE / HunyuanVideo控制条件轨迹控制ATI~镜头控制ReCamMaster~多主体驱动Phantom~音频驱动Let Them Talk: Audio-Driven Multi-Person Conversational Video Generation速…...

网站指纹识别

网站指纹识别 网站的最基本组成&#xff1a;服务器&#xff08;操作系统&#xff09;、中间件&#xff08;web容器&#xff09;、脚本语言、数据厍 为什么要了解这些&#xff1f;举个例子&#xff1a;发现了一个文件读取漏洞&#xff0c;我们需要读/etc/passwd&#xff0c;如…...

Yolov8 目标检测蒸馏学习记录

yolov8系列模型蒸馏基本流程&#xff0c;代码下载&#xff1a;这里本人提交了一个demo:djdll/Yolov8_Distillation: Yolov8轻量化_蒸馏代码实现 在轻量化模型设计中&#xff0c;**知识蒸馏&#xff08;Knowledge Distillation&#xff09;**被广泛应用&#xff0c;作为提升模型…...

处理vxe-table 表尾数据是单独一个接口,表格tableData数据更新后,需要点击两下,表尾才是正确的

修改bug思路&#xff1a; 分别把 tabledata 和 表尾相关数据 console.log() 发现 更新数据先后顺序不对 settimeout延迟查询表格接口 ——测试可行 升级↑&#xff1a;async await 等接口返回后再开始下一个接口查询 ________________________________________________________…...

RabbitMQ入门4.1.0版本(基于java、SpringBoot操作)

RabbitMQ 一、RabbitMQ概述 RabbitMQ RabbitMQ最初由LShift和CohesiveFT于2007年开发&#xff0c;后来由Pivotal Software Inc.&#xff08;现为VMware子公司&#xff09;接管。RabbitMQ 是一个开源的消息代理和队列服务器&#xff0c;用 Erlang 语言编写。广泛应用于各种分布…...