73.人工智能实战：LLM 调用超时怎么治理？从前期发现偶发慢请求到 Timeout、Retry、Backoff 与幂等设计

人工智能实战：LLM 调用超时怎么治理？从前期发现偶发慢请求到 Timeout、Retry、Backoff 与幂等设计一、问题场景：接口偶尔超时，不是大问题？上线后变成雪崩大模型服务上线后，很多团队都会遇到：偶发超时。一开始比例很低：1000次请求里有3次超时大家可能觉得问题不大。但在高峰期，偶发超时会放大成系统性问题：模型变慢 ↓ 接口超时 ↓ 用户重试 ↓ 请求量增加 ↓ 队列积压 ↓ 更多超时我见过一个真实事故。主模型平时 P95 是 4 秒。某天模型响应波动，P95 升到 18 秒。业务接口 timeout 设置是 20 秒。用户前端 15 秒没看到结果就自动重试一次。结果：原始请求没结束 重试请求又进来 同一用户连续触发多个生成任务 GPU 队列快速积压这类问题根因不是简单“模型慢”，而是：