当前位置： 首页 > article >正文

第八章：LangSmith 实战 —— 追踪、评估与调试 LLM 应用

article 2026/4/14 14:58:45
8.1 引言：为什么需要可观测性LLM 应用与传统软件有一个根本性差异：输出不确定性。传统函数给定输入总是返回相同输出，而 LLM 的每次调用都可能产生不同结果。这种不确定性使得传统的单元测试和日志系统难以满足需求——你需要追踪每次调用的完整上下文（输入、输出、延迟、Token 用量），系统化地评估输出质量，并在生产环境中持续监控。LangSmith 是 LangChain 团队构建的开发者平台，专为 LLM 应用提供追踪（Tracing）、评估（Evaluation）和监控（Monitoring）三大核心能力。本章将从源码层面解析：集成机制：langchain-core如何通过回调系统零配置集成 LangSmith追踪系统：LangChainTracer的实现原理与层次化追踪模型Run 数据模型：追踪数据的结构设计与持久化策略Token 用量追踪：UsageMetadata的自动提取与聚合评估框架：EvaluatorCallbackHandler的评估器体系与反馈机制Prompt 管理：LangSmith Hub 的版本化 Prompt 存储

相关文章：

第八章：LangSmith 实战 —— 追踪、评估与调试 LLM 应用

8.1 引言：为什么需要可观测性 LLM 应用与传统软件有一个根本性差异：输出不确定性。传统函数给定输入总是返回相同输出，而 LLM 的每次调用都可能产生不同结果。这种不确定性使得传统的单元测试和日志系统难以满足需求——你需要追踪每次调用的完整上下文（输入、输出、延迟、…...

编程日记 2026/4/14 14:58:45

SDMatte模型服务API设计：遵循RESTful规范构建可扩展接口

SDMatte模型服务API设计：遵循RESTful规范构建可扩展接口 1. 为什么需要规范的API设计 当你开发一个像SDMatte这样的专业抠图服务时，API设计质量直接影响着开发者的使用体验和系统的长期可维护性。好的API就像一本清晰的说明书，让调用者能快…...

编程日记 2026/4/14 14:58:41

一个运维的AI转型实录：从手动部署到云原生，踩了这些坑

去年这个时候，我还是一个每天手动部署服务的运维。SSH登录服务器，git pull，npm build，pm2 restart，一套流程走下来20分钟。如果同时要部署3个服务，就是1个小时。现在？一条命令，3个服…...

编程日记 2026/4/14 14:56:41

从信息收集到Root权限：一次完整的Lampiao靶机渗透实战解析

1. 环境准备与信息收集 第一次接触Lampiao靶机时，我习惯性地先搭建了一个隔离的测试环境。建议使用VirtualBox或VMware创建一个独立的NAT网络，把Kali攻击机和Lampiao靶机放在同一个网段。这里有个小技巧：在VirtualBox的全局设置里创建专用NAT…...

编程日记 2026/4/14 14:56:40

实测飞算JavaAI vs Copilot：效率提升不是一点点，完整项目生成才是关键差距

实测飞算JavaAI vs Copilot：效率提升不是一点点，完整项目生成才是关键差距## 开篇：一个Java开发者的日常困境干了三年Java，你大概已经习惯了这样的节奏：早上产品经理丢过来一个需求——"做个用户权限管理模块&…...

编程日记 2026/4/14 14:56:40

深度解析MelonLoader：Unity游戏模组加载器的架构设计与系统优化

深度解析MelonLoader：Unity游戏模组加载器的架构设计与系统优化 【免费下载链接】MelonLoader The Worlds First Universal Mod Loader for Unity Games compatible with both Il2Cpp and Mono 项目地址: https://gitcode.com/gh_mirrors/me/MelonLoader Mel…...

编程日记 2026/4/14 14:56:36

5分钟极速部署：开源在线PPT编辑器的完整配置指南

5分钟极速部署：开源在线PPT编辑器的完整配置指南 【免费下载链接】PPTist PowerPoint-ist（/pauəpɔintist/）, An online presentation application that replicates most of the commonly used features of MS PowerPoint, allowing for the…...

编程日记 2026/4/14 14:56:34

原神祈愿记录导出工具：3分钟掌握你的抽卡命运

原神祈愿记录导出工具：3分钟掌握你的抽卡命运 【免费下载链接】genshin-wish-export Easily export the Genshin Impact wish record. 项目地址: https://gitcode.com/GitHub_Trending/ge/genshin-wish-export 核心关键词：原神抽卡记录导出、祈愿…...

编程日记 2026/4/14 14:54:34

＜数据集＞yolo 瓶盖识别＜目标检测＞

点击下载数据集https://download.csdn.net/download/qq_53332949/92799678数据集格式：VOCYOLO格式 图片数量：2840张 标注数量(xml文件个数)：2840 标注数量(txt文件个数)：2840 标注类别数：1 标注类别名称&#xff…...

编程日记 2026/4/14 14:54:34

从‘Hello World’到驱动编译：树莓派4B交叉编译工具链实战应用全解析

从‘Hello World’到驱动编译：树莓派4B交叉编译工具链实战应用全解析 树莓派4B作为一款强大的单板计算机，其应用场景早已超越了简单的教学和原型开发。对于开发者而言，掌握交叉编译工具链的使用，能够显著提升开发效率，…...

编程日记 2026/4/14 14:54:34

告别v8！在IMX6ULL上为LVGL v9配置触摸屏和FrameBuffer的完整流程（韦东山/正点原子板通用）

在IMX6ULL开发板上实现LVGL v9的触摸与显示驱动全解析 LVGL（Light and Versatile Graphics Library）作为嵌入式领域最受欢迎的图形库之一，其v9版本带来了架构级的革新。对于使用IMX6ULL处理器的开发者而言，如何充分利用这些新特性…...

编程日记 2026/4/14 14:54:34

论文AIGC率太高？降痕技巧+平台避坑指南来了

各位同学最近是不是被论文的AIGC率搞得焦头烂额？好不容易整理完资料写完内容，提交检测却被判疑似AI生成，返工改到凌晨还是卡在线上？这真不是你写得不好，只是不同检测平台的判定逻辑差异太大，稍不注意就踩了…...

编程日记 2026/4/14 14:54:33

告别嗡嗡声：用双三相电机+DTC，手把手教你打造静音高效的工业风扇控制系统

工业风扇静音革命：双三相电机DTC实战指南 站在工厂车间里，耳边持续不断的嗡嗡声早已成为许多工程师的"背景音乐"。工业风扇、泵机等设备的噪音不仅影响工作环境，更是设备效率低下和潜在故障的信号。作为一名经历过数十个工厂改造项…...

编程日记 2026/4/14 14:52:31

电脑禁用U口、禁用USB端口、屏蔽移动存储设备使用的方法

以下从系统层、硬件层、物理层提供可直接落地的禁用方案，覆盖不同 Windows 版本与安全强度需求，优先选用不影响键鼠的精准管控方式。当然，最简单的方法还是部署专门的电脑U口禁用软件、屏蔽USB接口的软件。例如“大势至电脑文件防泄密系统”&…...

编程日记 2026/4/14 14:52:31

Adobe-GenP 3.0：解锁Adobe创意套件的终极完整指南

Adobe-GenP 3.0：解锁Adobe创意套件的终极完整指南 【免费下载链接】Adobe-GenP Adobe CC 2019/2020/2021/2022/2023 GenP Universal Patch 3.0 项目地址: https://gitcode.com/gh_mirrors/ad/Adobe-GenP 还在为Adobe Creative Cloud的订阅费用头疼吗&#xf…...

编程日记 2026/4/14 14:52:31

Arcgis自定义脚本工具开发：从参数配置到交互优化

1. 认识ArcGIS自定义脚本工具 如果你经常使用ArcGIS处理空间数据，一定会遇到内置工具无法满足需求的情况。这时候自定义脚本工具就能派上用场了——它允许你把Python脚本封装成可视化工具，像使用系统工具一样通过对话框操作，还能分享给其他同…...

编程日记 2026/4/14 14:52:31

网站国产化改造，如何做到软件成本几乎为零？

国产化改造不必然意味着高投入。核心思路是“选对技术组合、用好免费开源资源”——华为欧拉（openEuler）操作系统与openGauss数据库均为开源免费产品，加上PageAdmin CMS的官方适配支持，可以做到“软件零采购成本”完成网站系统的国…...

编程日记 2026/4/14 14:52:29

SARScape实战：高效DEM数据获取与预处理全攻略

1. 为什么需要手动获取DEM数据？ 很多刚接触SARScape的朋友可能会疑惑：软件明明自带DEM下载功能，为什么还要费劲手动下载？这个问题我刚开始也纠结过，直到在实际项目中踩过几次坑才明白其中缘由。 SARScape内置的DEM下载…...

编程日记 2026/4/14 14:50:28

不止于下载：Dreem睡眠数据集DOD-O/DOD-H到手后，如何快速验证与使用？

不止于下载：Dreem睡眠数据集DOD-O/DOD-H到手后，如何快速验证与使用？ 当你终于成功下载了Dreem睡眠数据集DOD-O和DOD-H，兴奋之余可能会陷入新的困惑：这些数据文件该如何验证完整性？数据结构是怎样的&#xf…...

编程日记 2026/4/14 14:50:28

单细胞数据合并后，你的聚类图为啥不好看？可能是批次效应在捣鬼

单细胞数据合并后，你的聚类图为啥不好看？可能是批次效应在捣鬼 当你兴奋地将多个单细胞RNA测序样本合并，准备大展拳脚进行聚类分析时，却发现t-SNE或UMAP图上细胞群杂乱无章，本该清晰的细胞类型边界变得模糊不清——这很…...

编程日记 2026/4/14 14:50:28

告别pip install失败：用Conda-forge通道一键安装Pycwr及气象雷达数据处理全家桶

科学计算环境革命：用Conda-forge高效部署气象雷达分析工具链 在气象数据分析领域，Python生态提供了丰富的工具选择，但复杂的依赖关系常常成为入门者的噩梦。特别是处理雷达数据时，Pycwr、Py-ART这类专业库往往需要编译大量C/C扩展…...

编程日记 2026/4/14 14:50:28

从协同过滤到深度学习：Spark机器学习实战全解析

1. Spark机器学习实战入门指南 第一次接触Spark机器学习时，我被它强大的分布式计算能力震撼到了。记得当时用单机跑一个推荐算法，500万数据量就要处理半小时，换成Spark集群后同样的任务只要2分钟。这种性能飞跃让我决定深入探索Spark MLlib和…...

编程日记 2026/4/14 14:50:28

健康160自动挂号工具终极指南：5分钟掌握全自动抢号技巧

健康160自动挂号工具终极指南：5分钟掌握全自动抢号技巧 【免费下载链接】91160-cli 健康160全自动挂号脚本，捡漏神器 项目地址: https://gitcode.com/gh_mirrors/91/91160-cli 还在为健康160平台抢号难而烦恼吗？热门医生的号源总是秒光…...

编程日记 2026/4/14 14:48:27

3分钟掌握Windows风扇智能控制：告别噪音烦恼的终极指南

3分钟掌握Windows风扇智能控制：告别噪音烦恼的终极指南 【免费下载链接】FanControl.Releases This is the release repository for Fan Control, a highly customizable fan controlling software for Windows. 项目地址: https://gitcode.com/GitHub_Trending/f…...

编程日记 2026/4/14 14:48:27

Java2Flowchart：一款把 Java 方法一键转换成 Mermaid 流程图的 IntelliJ 插件

author ChangJin Wei (魏昌进)Java2Flowchart：一款把 Java 方法一键转换成 Mermaid 流程图的 IntelliJ 插件 在阅读复杂 Java 代码时，最耗费时间的往往不是语法，而是理解控制流： 这个方法到底先走哪条分支？循环是怎么退…...

编程日记 2026/4/14 14:48:27

绝地求生压枪难题破解：罗技鼠标宏配置终极指南

绝地求生压枪难题破解：罗技鼠标宏配置终极指南 【免费下载链接】logitech-pubg PUBG no recoil script for Logitech gaming mouse / 绝地求生 罗技 鼠标宏 项目地址: https://gitcode.com/gh_mirrors/lo/logitech-pubg 还在为《绝地求生》中枪械后坐力控制而…...

编程日记 2026/4/14 14:48:27

OpenClaw 太难装了？试试 LangTARS：一行命令部署 + WebUI 管理面板，还能接入 Dify/Coze/nn??坠

1. 什么是 Apache SeaTunnel？ Apache SeaTunnel 是一个非常易于使用、高性能、支持实时流式和离线批处理的海量数据集成平台。它的目标是解决常见的数据集成问题，如数据源多样性、同步场景复杂性以及资源消耗高的问题。 核心特性 丰富的数据源支持&#…...

编程日记 2026/4/14 14:48:27

Xv6 Lab3: Optimizing Page Tables for Direct User-Kernel Memory Access

1. Xv6页表机制概述 Xv6采用三级页表结构实现虚拟地址到物理地址的转换。每个进程拥有独立的用户页表，而内核则使用全局的内核页表。这种设计带来一个关键限制：当内核需要访问用户空间数据时（如系统调用参数），必须通过…...

编程日记 2026/4/14 14:46:27

5大特性解析：Fast-GitHub浏览器扩展如何实现GitHub访问速度飞跃

5大特性解析：Fast-GitHub浏览器扩展如何实现GitHub访问速度飞跃 【免费下载链接】Fast-GitHub 国内Github下载很慢，用上了这个插件后，下载速度嗖嗖嗖的~！ 项目地址: https://gitcode.com/gh_mirrors/fa/Fast-GitHub 国内开…...

编程日记 2026/4/14 14:46:27

5步终极指南：用ObjToSchematic将任何3D模型变成Minecraft建筑

5步终极指南：用ObjToSchematic将任何3D模型变成Minecraft建筑 【免费下载链接】ObjToSchematic A tool to convert 3D models into Minecraft formats such as .schematic, .litematic, .schem and .nbt 项目地址: https://gitcode.com/gh_mirrors/ob/ObjToSchema…...

编程日记 2026/4/14 14:46:27