当前位置: 首页 > article >正文

手把手教你用Docker Compose在Ubuntu 22.04上部署LangSmith监控平台(含PostgreSQL+Redis+ClickHouse配置)

基于Docker Compose的LangSmith全栈监控平台部署指南在当今AI技术快速迭代的背景下构建可观测的LLM应用开发环境已成为技术团队的刚需。LangSmith作为LangChain生态中的核心监控工具能够帮助开发者实时追踪模型调用、分析性能瓶颈并优化工作流程。本文将详细介绍如何在Ubuntu 22.04系统上使用Docker Compose编排PostgreSQL、Redis和ClickHouse三大核心服务搭建完整的LangSmith监控平台。1. 环境准备与基础配置部署LangSmith前需要确保基础环境满足运行要求。推荐使用物理服务器或云主机避免在资源受限的虚拟环境中运行。硬件最低配置要求CPU4核推荐8核内存16GB推荐32GB存储100GB SSD推荐200GB以上网络千兆网卡对于软件环境我们需要准备以下组件# 更新系统并安装基础工具 sudo apt update sudo apt upgrade -y sudo apt install -y curl git python3 python3-pip # 安装Docker引擎 curl -fsSL https://get.docker.com | sudo sh # 安装Docker Compose插件 sudo apt install -y docker-compose-plugin # 验证安装 docker --version docker compose version配置完成后建议将当前用户加入docker组以避免频繁使用sudosudo usermod -aG docker $USER newgrp docker提示执行上述命令后需要重新登录才能使权限变更生效2. 安全密钥与配置文件生成LangSmith运行需要两类关键密钥API密钥盐值(API Key Salt)和JWT密钥(JWT Secret)。这些密钥用于加密存储和身份验证。生成密钥的命令如下# 生成API Key Salt openssl rand -base64 32 api_key_salt.txt # 生成JWT Secret openssl rand -base64 32 jwt_secret.txt生成的密钥应该妥善保管建议将它们存储在安全的位置。接下来创建LangSmith的配置文件config.env# LangSmith核心配置 LANGCHAIN_ENVproduction API_KEY_SALT$(cat api_key_salt.txt) JWT_SECRET$(cat jwt_secret.txt) # 数据库连接配置 POSTGRES_DBlangsmith POSTGRES_USERlangsmith POSTGRES_PASSWORDstrongpassword # Redis配置 REDIS_PASSWORDredispass123 # ClickHouse配置 CLICKHOUSE_PASSWORDclickhousepass3. Docker Compose编排配置创建docker-compose.yml文件定义完整的服务栈。我们将使用PostgreSQL 14作为主数据库Redis 7作为缓存ClickHouse 24作为分析型数据库。version: 3.8 services: # PostgreSQL服务 postgres: image: postgres:14 container_name: langsmith-postgres environment: POSTGRES_USER: ${POSTGRES_USER} POSTGRES_PASSWORD: ${POSTGRES_PASSWORD} POSTGRES_DB: ${POSTGRES_DB} volumes: - postgres_data:/var/lib/postgresql/data healthcheck: test: [CMD-SHELL, pg_isready -U ${POSTGRES_USER}] interval: 5s timeout: 5s retries: 5 networks: - langsmith-net # Redis服务 redis: image: redis:7 container_name: langsmith-redis command: redis-server --requirepass ${REDIS_PASSWORD} volumes: - redis_data:/data healthcheck: test: [CMD, redis-cli, ping] interval: 5s timeout: 5s retries: 5 networks: - langsmith-net # ClickHouse服务 clickhouse: image: clickhouse/clickhouse-server:24.8 container_name: langsmith-clickhouse environment: CLICKHOUSE_PASSWORD: ${CLICKHOUSE_PASSWORD} volumes: - clickhouse_data:/var/lib/clickhouse - ./clickhouse-config.xml:/etc/clickhouse-server/config.d/custom.xml ports: - 8123:8123 # HTTP接口 - 9000:9000 # 原生接口 networks: - langsmith-net # LangSmith后端服务 langsmith-backend: image: langchain/langsmith-backend:latest container_name: langsmith-backend depends_on: postgres: condition: service_healthy redis: condition: service_healthy clickhouse: condition: service_healthy environment: - API_KEY_SALT${API_KEY_SALT} - JWT_SECRET${JWT_SECRET} - POSTGRES_DATABASE_URIpostgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}postgres:5432/${POSTGRES_DB} - REDIS_DATABASE_URIredis://:${REDIS_PASSWORD}redis:6379/0 - CLICKHOUSE_HOSTclickhouse - CLICKHOUSE_PASSWORD${CLICKHOUSE_PASSWORD} ports: - 1984:1984 networks: - langsmith-net # LangSmith前端服务 langsmith-frontend: image: langchain/langsmith-frontend:latest container_name: langsmith-frontend depends_on: langsmith-backend: condition: service_started environment: - VITE_BACKEND_URLhttp://langsmith-backend:1984 ports: - 1980:1980 networks: - langsmith-net volumes: postgres_data: redis_data: clickhouse_data: networks: langsmith-net: driver: bridge同时创建ClickHouse的优化配置文件clickhouse-config.xmlyandex profiles default max_memory_usage8000000000/max_memory_usage max_threads8/max_threads background_pool_size16/background_pool_size async_insert1/async_insert async_insert_threads4/async_insert_threads /default /profiles /yandex4. 服务启动与验证配置完成后可以启动整个服务栈# 加载环境变量 export $(grep -v ^# config.env | xargs) # 启动服务 docker compose up -d # 查看服务状态 docker compose ps服务启动后可以通过以下方式验证各组件是否正常运行PostgreSQL验证docker exec -it langsmith-postgres psql -U langsmith -d langsmith -c SELECT version();Redis验证docker exec -it langsmith-redis redis-cli -a redispass123 pingClickHouse验证curl -X POST http://localhost:8123 -d SELECT version()LangSmith后端验证curl -X GET http://localhost:1984/health前端访问 打开浏览器访问http://服务器IP:1980应该能看到LangSmith的登录界面。5. 高级配置与优化5.1 数据库性能调优对于生产环境需要对数据库进行针对性优化。以下是PostgreSQL的推荐配置# 进入PostgreSQL容器 docker exec -it langsmith-postgres bash # 编辑PostgreSQL配置 vi /var/lib/postgresql/data/postgresql.conf建议修改以下参数shared_buffers 4GB effective_cache_size 12GB maintenance_work_mem 1GB work_mem 128MB random_page_cost 1.1 max_connections 200对于ClickHouse我们已经在配置文件中设置了异步插入等优化参数还可以通过以下命令进一步优化# 进入ClickHouse容器 docker exec -it langsmith-clickhouse bash # 执行优化命令 clickhouse-client --password clickhousepass --query ALTER TABLE langsmith.runs MODIFY SETTING parts_to_delay_insert1000, parts_to_throw_insert2000; 5.2 容器资源限制为了避免某个服务占用过多资源影响整体稳定性可以在docker-compose.yml中为每个服务添加资源限制services: langsmith-backend: deploy: resources: limits: cpus: 4 memory: 8G reservations: cpus: 2 memory: 4G postgres: deploy: resources: limits: cpus: 4 memory: 6G reservations: cpus: 2 memory: 4G5.3 数据备份策略为确保数据安全需要建立定期备份机制。创建备份脚本backup.sh#!/bin/bash # 备份PostgreSQL docker exec langsmith-postgres pg_dump -U langsmith -Fc langsmith /backups/langsmith_$(date %Y%m%d).dump # 备份Redis docker exec langsmith-redis redis-cli -a redispass123 save docker cp langsmith-redis:/data/dump.rdb /backups/redis_$(date %Y%m%d).rdb # 备份ClickHouse docker exec langsmith-clickhouse clickhouse-backup create docker cp langsmith-clickhouse:/var/lib/clickhouse/backup /backups/clickhouse_$(date %Y%m%d)设置定时任务每天执行备份crontab -e添加以下内容0 2 * * * /path/to/backup.sh6. 常见问题排查6.1 服务启动失败如果某个容器无法启动首先检查日志docker compose logs 服务名常见问题及解决方案端口冲突修改docker-compose.yml中的端口映射内存不足增加服务器内存或调整容器资源限制配置错误检查环境变量和配置文件是否正确6.2 数据不显示如果LangSmith界面没有显示追踪数据检查ClickHouse连接curl -X POST http://localhost:8123 -d SHOW DATABASES后端日志docker compose logs -f langsmith-backend网络连通性docker exec langsmith-backend ping clickhouse docker exec langsmith-backend ping postgres6.3 性能优化建议如果系统响应缓慢可以考虑增加Redis缓存大小优化ClickHouse表结构为频繁查询添加数据库索引调整LangSmith的批处理参数7. 系统维护与监控为了保持系统稳定运行建议部署监控系统。以下是使用cAdvisor和Prometheus的配置示例在docker-compose.yml中添加services: cadvisor: image: gcr.io/cadvisor/cadvisor:v0.47.0 container_name: cadvisor volumes: - /:/rootfs:ro - /var/run:/var/run:ro - /sys:/sys:ro - /var/lib/docker/:/var/lib/docker:ro ports: - 8080:8080 networks: - langsmith-net prometheus: image: prom/prometheus:latest container_name: prometheus volumes: - ./prometheus.yml:/etc/prometheus/prometheus.yml ports: - 9090:9090 networks: - langsmith-net创建prometheus.yml配置文件global: scrape_interval: 15s scrape_configs: - job_name: docker static_configs: - targets: [cadvisor:8080] - job_name: langsmith static_configs: - targets: [langsmith-backend:1984]启动后可以通过http://服务器IP:9090访问Prometheus监控界面。

相关文章:

手把手教你用Docker Compose在Ubuntu 22.04上部署LangSmith监控平台(含PostgreSQL+Redis+ClickHouse配置)

基于Docker Compose的LangSmith全栈监控平台部署指南 在当今AI技术快速迭代的背景下,构建可观测的LLM应用开发环境已成为技术团队的刚需。LangSmith作为LangChain生态中的核心监控工具,能够帮助开发者实时追踪模型调用、分析性能瓶颈并优化工作流程。本文…...

告别双for循环!用NumPy的np.where()函数6倍速搞定医学图像分割可视化(附Synapse数据集实战代码)

医学图像分割可视化性能革命:用NumPy向量化操作替代低效循环 在医学影像分析领域,分割模型的可视化结果直接影响临床医生和研究人员对模型性能的直观判断。然而,许多深度学习工程师都会遇到一个令人头疼的问题:模型推理过程可能只…...

【计算机组成原理实践】从门电路到运算器:Logisim 搭建加减法器全流程解析

1. 从开关到计算:门电路的前世今生 记得我第一次接触数字逻辑电路时,被那些密密麻麻的连线搞得头晕眼花。直到有一天,导师拿着几个面包板和LED灯对我说:"计算机的本质,不过是一堆开关的排列组合。"这句话彻底…...

基于DSP28335的三电平有源电力滤波器方案:全套软硬件资料,直接量产的智能化电力管理方案

三电平有源电力滤波器方案 全套软硬件资料 基于DSP28335 可以直接量产一、概述 某TD_APF(Active Power Filter,有源电力滤波器)固件基于DSP28335芯片开发,是一套功能完备、架构严谨的嵌入式实时控制系统。该固件围绕电网谐波治理核…...

Qwen、QwQ、Qwen2.5...阿里通义千问大模型家族命名全解析!秒懂模型选型秘籍!

本文系统梳理了阿里通义千问大模型家族(Qwen系列)的命名规则,从基础版本号、参数规模到垂直领域标记,深入剖析了模型命名的三大维度。文章详细解读了特殊标记与后缀的含义,如-Instruct指令微调、-Omni全模态能力等&…...

别再只画线了!PCB布局布线中这些细节才是决定板子好坏的关键

PCB设计进阶:从功能实现到工艺美学的关键细节 在电子设计领域,PCB布局布线早已超越了简单的电气连接功能。当工程师们讨论一块优秀电路板的标准时,常常会提到三个维度:电气性能的可靠性、生产制造的便利性,以及令人愉悦…...

保姆级教程:用Python和QMT的get_local_data函数,5分钟搞定本地历史K线数据解析

零基础实战:Python与QMT本地K线数据高效解析指南 第一次打开QMT终端时,那些密密麻麻的数据文件就像天书一样令人望而生畏。作为量化交易的基础设施,QMT确实提供了丰富的历史行情数据,但如何将这些二进制文件转化为可分析的格式&am…...

Retinex算法实战:从原理到Python代码的完整图像增强方案

1. Retinex算法能解决什么问题? 第一次接触Retinex算法是在处理一批夜间监控图像时遇到的。当时客户抱怨说:"这些夜间拍摄的画面根本看不清细节,连人脸都模糊成一团"。我试过直方图均衡化、gamma校正这些常规方法,效果都…...

WAV、MP3、AAC傻傻分不清?一文搞懂音频格式、采样率、比特率对音质和文件大小的实际影响

WAV、MP3、AAC傻傻分不清?一文搞懂音频格式、采样率、比特率对音质和文件大小的实际影响 第一次处理音频文件时,看到WAV、MP3、AAC这些格式选项,还有采样率、比特率这些参数,是不是感觉头都大了?别担心,这篇…...

AI Agent在DevSecOps中的角色:自动安全扫描、漏洞修复与合规检查

从零到一:构建AI驱动的DevSecOps全流程智能自动化Agent集群 副标题:从代码提交到部署上线的全链路安全左移、修复闭环与合规即代码落地实践(基于LangChain + GPT-4o-mini + Trivy + Checkov + Snyk) 第一部分:引言与基础 (Introduction & Foundation) 1. 引人注目的标…...

实战指南:用Python的sympy库快速生成ElGamal算法所需的大素数和原根

实战指南:用Python的sympy库快速生成ElGamal算法所需的大素数和原根 在密码学实践中,ElGamal算法因其基于离散对数问题的安全性而广受青睐。然而,许多开发者在尝试实现该算法时,往往卡在生成合适的大素数和原根这一初始步骤上。本…...

别再为Fastjson漏洞发愁了!1.2.68+版本开启SafeMode的三种实战姿势(附代码示例)

Fastjson安全模式实战指南:从漏洞防御到生产级配置 最近在重构公司支付系统的数据解析模块时,突然收到安全团队的紧急通知——Fastjson又爆出新的反序列化漏洞。作为国内Java生态中使用最广泛的JSON库,Fastjson的安全问题确实让不少开发者头疼…...

告别BurpSuite?手把手教你用Yakit社区版搞定Web渗透测试(附国密证书配置)

从BurpSuite迁移到Yakit:Web渗透测试新范式实战指南 如果你已经习惯了BurpSuite的工作流程,但正在寻找一个更轻量、更符合国内安全需求的替代方案,Yakit社区版可能正是你需要的工具。它不仅继承了BurpSuite的核心功能,还针对中国开…...

JSON vs JSONL:从格式差异到场景选择,如何为你的数据流选择最佳载体?

1. JSON与JSONL的本质区别 第一次接触JSONL格式时,我和大多数开发者一样困惑:既然已经有JSON这种通用数据格式,为什么还需要JSONL?直到处理一个日均产生200GB日志的系统时,我才真正理解两者的差异。JSON就像一本装订成…...

从战场到物流:多无人机路径规划中的A*、RRT和MPC到底该怎么选?

从战场到物流:多无人机路径规划中的A*、RRT和MPC到底该怎么选? 当无人机从军事领域走向民用场景,路径规划算法的选择直接决定了项目成败。在智慧物流园区巡检中,一架误判障碍物的无人机可能撞毁价值百万的货物;在城市应…...

从天线设计到声学分析:手把手教你用Python贝塞尔函数解决5个经典工程问题

从天线设计到声学分析:手把手教你用Python贝塞尔函数解决5个经典工程问题 在工程实践中,圆柱对称问题和波动现象无处不在——从微波天线的辐射模式到声学换能器的指向特性,从光纤中的光场分布到机械振动膜的模态分析。这些看似迥异的场景背后…...

Python操作Minio避坑指南:从‘ImportError’到生产环境部署的8个常见问题

Python操作Minio避坑指南:从‘ImportError’到生产环境部署的8个常见问题 当你第一次尝试用Python操作Minio时,可能会遇到各种意想不到的问题。从简单的ImportError到生产环境中的大文件上传超时,每个坑都可能让你浪费数小时。本文将带你系统…...

用鸢尾花数据集实战:5分钟搞定sklearn数据划分,附Jupyter Notebook完整代码

鸢尾花数据集实战:5分钟掌握sklearn数据划分技巧 第一次接触机器学习时,最让人头疼的往往不是算法本身,而是如何正确处理数据。记得我刚开始学习时,花了整整一个下午才搞明白怎么把数据集分成训练集和测试集。现在,让我…...

生信分析避坑指南:用R处理韦恩图交集时,90%的人都会忽略的数据类型和文件保存问题

生信分析避坑指南:用R处理韦恩图交集时,90%的人都会忽略的数据类型和文件保存问题 在生物信息学分析中,韦恩图(Venn Diagram)是一种常用的可视化工具,用于展示不同数据集之间的交集和差异。R语言中的VennDi…...

深入Linux PCIe EP驱动:从数据结构pci_epc到硬件配置dw_pcie_setup的完整链路解析

Linux PCIe EP驱动深度解析:从pci_epc到dw_pcie_setup的完整链路 PCI Express(PCIe)作为现代计算机系统中至关重要的高速串行总线标准,其Endpoint(EP)模式在嵌入式系统、数据中心加速卡等领域有着广泛应用。…...

CSS如何让背景图片在容器内居中_使用background-position设为center

background-position: center 不总居中是因为它只将背景图锚点设为容器中心,实际显示取决于图片尺寸与background-size配合;默认auto尺寸下大图会溢出,需搭配cover或contain及确保容器有可靠尺寸。background-position: center 为什么有时不居…...

如何在 Go 方法中正确修改切片类型

Go 中切片是引用类型但本身按值传递,若要在方法内修改原始切片,必须使用指针接收者并直接赋值给解引用后的接收者(test append(test, x)),而非重新赋值指针变量。 go 中切片是引用类型但本身按值传递&#xff0c…...

如何在响应式网页中精准居中表单(CSS绝对定位 + transform技巧)

本文详解如何使用 position: absolute 配合 left: 50% 与 transform: translatex(-50%) 组合,实现表单在平板及以上设备上的水平居中;同时强调父容器需设为相对定位、避免布局塌陷,并提供可直接复用的代码片段与关键注意事项。 本文详解…...

如何分析enq- TM - contention_外键未建索引导致的表级锁阻塞

外键未建索引会导致主表DML时全表扫描子表校验引用,触发整表TM锁争用;通过ASH查P2得子表OBJECT_ID,再结合dba_constraints与dba_ind_columns定位缺失索引的外键。怎么确认是外键没建索引引发的 enq: TM - contention直接查 v$active_session_…...

Java 8 Comparator.reversed() 实战避坑:为什么你的倒序排序结果和预期不一样?

Java 8 Comparator.reversed() 深度解析:避开排序逻辑中的隐藏陷阱 当你第一次在Java 8中使用Comparator.reversed()方法时,可能会觉得这个功能简单直接——不就是把排序顺序反过来吗?但在实际开发中,特别是在处理复杂对象和多条件…...

RTKLIB数据处理全流程实战:从观测文件下载到RTKPOST解算出图

RTKLIB数据处理全流程实战:从观测文件下载到RTKPOST解算出图 在卫星导航定位领域,RTKLIB作为开源解决方案的标杆,其数据处理能力覆盖了从静态测量到动态定位的多种场景。本文将带您体验完整的GNSS数据处理流程,从数据获取到最终可…...

3种方法让普通鼠标秒变Mac神器:Mac Mouse Fix终极安装指南

3种方法让普通鼠标秒变Mac神器:Mac Mouse Fix终极安装指南 【免费下载链接】mac-mouse-fix Mac Mouse Fix - Make Your $10 Mouse Better Than an Apple Trackpad! 项目地址: https://gitcode.com/GitHub_Trending/ma/mac-mouse-fix 还在为Mac上的鼠标体验不…...

Visual C++运行库终极解决方案:告别DLL缺失烦恼的完整指南

Visual C运行库终极解决方案:告别DLL缺失烦恼的完整指南 【免费下载链接】vcredist AIO Repack for latest Microsoft Visual C Redistributable Runtimes 项目地址: https://gitcode.com/gh_mirrors/vc/vcredist 还在为"MSVCP140.dll丢失"的错误弹…...

终极Total War模组编辑器:为什么RPFM是每个模组创作者必备的现代化工具?

终极Total War模组编辑器:为什么RPFM是每个模组创作者必备的现代化工具? 【免费下载链接】rpfm Rusted PackFile Manager (RPFM) is a... reimplementation in Rust and Qt5 of PackFile Manager (PFM), one of the best modding tools for Total War Ga…...

# ROS机器人系统中基于行为树的智能任务调度实践与优化在**ROS(R

ROS机器人系统中基于行为树的智能任务调度实践与优化 在ROS(Robot Operating System)生态中,任务调度一直是实现复杂机器人行为的核心模块。传统基于状态机或简单顺序执行的方式难以应对动态环境下的多任务并发、优先级冲突和异常恢复等问题。…...