Python requests GET 报错：ChunkedEncodingError

问题

在实际项目中遇到的这样一个问题：通过Python GET从服务器请求url列表，因为是公司内部数据，知道大概多少条数据，所以直接一次请求500条。平稳运行了一段时间之后，突然某天这个GET请求报错了…

response = requests.get('http://xxx/api/app/list?pageNum=1&pageSize=500')
print(response)

报错信息

During handling of the above exception, another exception occurred:Traceback (most recent call last):File "./DownloadCheck.py", line 298, in <module>apk_url_list = get_url_list()File "./DownloadCheck.py", line 231, in get_url_listresponse = requests.get('http://xxx/api/app/list?pageNum=1&pageSize=500')File "/usr/lib/python3/dist-packages/requests/api.py", line 75, in getreturn request('get', url, params=params, **kwargs)File "/usr/lib/python3/dist-packages/requests/api.py", line 60, in requestreturn session.request(method=method, url=url, **kwargs)File "/usr/lib/python3/dist-packages/requests/sessions.py", line 535, in requestresp = self.send(prep, **send_kwargs)File "/usr/lib/python3/dist-packages/requests/sessions.py", line 688, in sendr.contentFile "/usr/lib/python3/dist-packages/requests/models.py", line 828, in contentself._content = b''.join(self.iter_content(CONTENT_CHUNK_SIZE)) or b''File "/usr/lib/python3/dist-packages/requests/models.py", line 753, in generateraise ChunkedEncodingError(e)
requests.exceptions.ChunkedEncodingError: ('Connection broken: IncompleteRead(3254 bytes read, 4924 more expected)', IncompleteRead(3254 bytes read, 4924 more expected))
RunnerScriptResult = 1
Build step 'Execute shell' marked build as failure
Finished: FAILURE

什么是ChunkedEncodingError

requests.exceptions.ChunkedEncodingError 是 Python 的 requests 库在处理 HTTP 分块传输编码（chunked transfer encoding） 时，服务器响应数据不完整或连接中断导致的异常。

原因	说明
🔥 服务器超时关闭连接	请求的数据过大，服务器未能处理完，强制关闭了连接。
📉 服务器异常崩溃或内存不足	请求过大，导致服务异常退出或 OOM（内存不足）。
❌ 服务器响应使用了 chunked encoding，但未按协议完成数据发送	例如没有正确结束 chunk，或网络断开。
🔌 网络不稳定、连接被中断	客户端还在接收数据时连接断开。
🚫 请求参数非法或超限	例如你传了 pageSize=500，但服务最多只允许 100 条数据，可能返回异常响应甚至非标准响应。

解决

• 增加重试机制，无果，排除网络原因。
• 尝试减小pageSize的数值，请求成功。

分析

✅ 可能的原因一：服务器资源/配置发生变化

• 一开始能正常响应 500 条，说明服务器是可以处理大数据量的，但后续可能：
• 服务更新或发布了新版本，限制了 pageSize（例如限制最大 100）。
• 添加了网关、代理或负载均衡配置，对请求做了限流或超时控制。
• 资源紧张：比如内存、带宽、连接数接近极限，无法完整发送大响应。

✅ 可能的原因二：数据增长，响应体变大，触发异常
随着数据量增长：

• 相同 pageSize=500，返回的数据体积变大（例如字段增加、内容变长、嵌套更深）。
• 响应时间变长，服务超时或连接断开。
• 或者某一条数据本身异常，导致响应不完整或结构错误。