【AI面试临阵磨枪-54】如何监控 AI 系统：成功率、延迟、Token 消耗、幻觉率、调用量

一、 面试题目面试官提问“在大规模 Agent 系统中你是如何建立监控体系的请针对成功率、延迟、Token 消耗、幻觉率、调用量这五个核心指标详细谈谈你的采集、分析与预警方案。”二、 知识储备1. 核心背景AI 监控的“三层模型”基础层Infra传统的 API 状态码、请求延迟QPS/RT。成本层EconomicToken 消耗量、模型费用分布、缓存命中率。内容层Semantic幻觉检测、语义准确度、用户负反馈率。2. 五大指标深度拆解指标监控方案 (How to Monitor)核心价值 (Value)成功率 (Success Rate)非 200 状态码 语义解析错误。不仅看 HTTP 状态还要看 JSON 校验是否失败。衡量系统的稳定性。延迟 (Latency)TTFT (首字延迟)与TPOT (单 Token 推理延迟)。流式输出场景下首字响应比总耗时更重要。直接影响用户体验的流畅度。Token 消耗实时计费上报。按模型、按用户、按功能模块进行维度聚合分析。成本预警防止恶意刷量或代码死循环。幻觉率 (Hallucination)LLM-as-a-judge (RAGAS/G-Eval)。采样部分回复通过更高阶的模型比对事实一致性。监控内容的“智商”和可靠性。调用量 (Throughput)分时段分片统计。监控突发流量Spike和持续负载。为弹性扩容提供决策依据。三、 破局之道在回答完技术实现后通过这段话展现你对“可观测性工程”的深度思考“监控 AI 系统核心要理解我们是在‘监控一段黑盒逻辑的确定性’。你可以告诉面试官成功率和延迟是‘生存指标’我们要通过分布式链路追踪 (Tracing)找到哪一步 Skill 调用变慢了Token 消耗是‘生命指标’必须建立Quota配额熔断机制幻觉率是‘灵魂指标’它不能靠肉眼看必须构建自动化评估流水线。在工程实践中我会将监控逻辑沉淀在Harness 的可观测性层或是Sidecar 代理中。一个优秀的架构师不应只看结果而应构建‘全链路感知力’。只有当系统不仅能报‘死没死’还能报‘聪不聪明’和‘值不值钱’时AI 应用才真正具备了进入金融、政务等严苛业务场景的资格。”四、 代码实现我们用两种语言演示如何实现一个简单的“AI 监控中间件”。1. Python 实现利用 Prometheus 记录 Token 与成功率from prometheus_client import Counter, Summary, start_http_server import time # 定义指标 TOKEN_USAGE Counter(llm_token_total, Total Tokens Consumed, [model_name]) LATENCY Summary(llm_latency_seconds, Time spent processing request) SUCCESS_COUNT Counter(llm_request_success, Successful LLM calls) def monitored_llm_call(prompt): start_time time.time() try: response llm.generate(prompt) # 模拟调用 # 记录 Token 消耗 (假设响应里带了 usage) TOKEN_USAGE.labels(model_namegpt-4).inc(response[usage][total_tokens]) SUCCESS_COUNT.inc() return response finally: LATENCY.observe(time.time() - start_time) # 启动监控服务 # start_http_server(8000)2. JavaScript (Node.js) 实现语义化的 Trace 与错误拦截/** * 带有全链路监控的 Agent 调用层 */ async function traceAgentExecution(task) { const traceId generateId(); const startTime Date.now(); try { const result await agent.run(task); // 监控上报逻辑成功率与耗时 telemetry.send({ traceId, status: success, latency: Date.now() - startTime, inputTokens: result.usage.prompt_tokens, outputTokens: result.usage.completion_tokens, isHallucination: await checkHallucination(result) // 采样检查 }); return result; } catch (err) { // 捕获异常记录错误类型API错误、逻辑错误、权限错误 telemetry.send({ traceId, status: fail, errorType: err.code || UNKNOWN, errorMessage: err.message }); throw err; } }面试加分建议提到“负反馈环Feedback Loop”。监控不仅仅是为了报警更是为了优化。你可以说我会将用户点击“踩”或者重新生成的行为标记为负反馈信号并将其与当时的 Trace ID 关联作为下一轮Evaluation Harness的测试用例。这体现了你对 AI 产品持续进化的理解。