当前位置: 首页 > article >正文

Agent / Subagent / Swarm 解析:ClaudeCode源码深度解读

Claude Code 的多智能体系统由三个递进层级构成单次 Subagent轻量委托→Fork Subagent上下文克隆分身→Swarm / Team多进程协作群。它们共享同一个runAgent()核心但在隔离策略、通信方式和生命周期上各有不同。1. 三种模式一览特性普通 SubagentFork SubagentSwarm Teammate触发方式Agent(subagent_typeX)Agent()不带subagent_typeAgent(nameX, team_nameY)上下文继承空 / 只从 prompt 开始完整克隆父对话 工具结果独立进程仅通过 mailbox 通信运行位置父进程内sync/async父进程内后台异步子进程tmux/iTerm2或 in-processAbortControllersync: 共享父的; async: 独立独立独立不受领导者中断影响权限提示async: 自动拒绝; sync: 气泡到父bubble → 气泡到父终端通过 permissionSync 文件路由通信机制返回值 / Generator yield父 context 注入 返回值文件信箱mailboxsidechain 转录✅✅✅门控条件默认启用feature(FORK_SUBAGENT)isAgentSwarmsEnabled()2. Subagent普通子代理2.1 实体runAgent()异步生成器src/tools/AgentTool/runAgent.ts的核心是一个AsyncGenerator外部通过for await消费其输出消息实现流式透传。关键设计决策parent → AgentTool.call() ├── 构建 agentToolUseContext独立 AppState 视图 ├── resolveAgentTools() ← 按定义过滤工具集 ├── getAgentSystemPrompt() ← 专属系统提示词 ├── createSubagentContext() ← 上下文隔离 └── runAgent() → query() ← 流式游历 API 轮次 ↓ yield messages → agentToolUtils.runAsyncAgentLifecycle()权限模式继承规则优先级从高到低bypassPermissions/acceptEdits/auto— 父级总是赢子代理不可覆盖agentDefinition.permissionMode— 定义文件中的声明isAsynctrue→shouldAvoidPermissionPromptstrue不弹 UIcanShowPermissionPromptstrue→awaitAutomatedChecksBeforeDialogtrue先等自动化检查Claude.md 裁剪优化Explore / Plan 等只读代理默认剥除claudeMd省 ~5-15 Gtok/week和gitStatus节省上下文通过 GrowthBook 门控tengu_slim_subagent_claudemd。2.2 工具集解析resolveAgentTools()agentDefinition.tools: [*] → 继承父工具集 agentDefinition.tools: [Bash,Edit] → 精确子集 agentDefinition.tools: [!Bash] → 排除模式 useExactToolstrue → 完全跳过过滤fork 路径专用allowedTools参数在作用域上替换父级 session 权限保留 cliArg 层避免父级许可泄漏给子代理。2.3 生命周期 finally 清理runAgent()的finally块确保即使抛出 AbortError 也执行MCP 服务器关闭mcpCleanup()Session hooks 清理clearSessionHooks()Prompt cache 追踪状态清理文件状态缓存释放readFileState.clear()Todos 孤立条目删除后台 Bash 进程杀死killShellTasksForAgent()Perfetto trace 注销3. Fork Subagent分叉子代理3.1 设计理念Fork 是上下文克隆模式子代理不是从空白对话开始而是继承父对话的完整消息历史。核心思路是最大化利用父代理的prompt cache——子代理与父代理共享相同的 API 请求前缀命中缓存的概率极高。启用条件// 互斥约束不能与 coordinator 模式共用feature(FORK_SUBAGENT)!isCoordinatorMode()!isNonInteractiveSession()3.2 消息构建buildForkedMessages()父 AssistantMessage含所有 tool_use 块 ↓ clone [fullAssistantMessage] user 消息 [tool_result x N (全为 FORK_PLACEHOLDER)] ← 占位符让 API 认为工具已完成 text: fork_directive子任务说明/fork_directiveFORK_PLACEHOLDER_RESULT是固定字符串保证 cache 命中子代理看到的是已有工具结果和新指令。3.3useExactToolstrue稳定化Fork 模式传useExactToolstrue直接使用父工具池不经resolveAgentTools()过滤继承父的thinkingConfig思维链设置继承父的isNonInteractiveSession值目的让子代理的 API 请求前缀与父代理字节完全一致命中 server-side prompt cache3.4 递归 Fork 防护// 双重检查对抗 autocompact 改写消息后的 bypassif(toolUseContext.options.querySourceagent:builtin:${FORK_AGENT.agentType}||isInForkChild(toolUseContext.messages)){thrownewError(Fork is not available inside a forked worker.)}4. Swarm群集多代理4.1 架构概览Leader Processclaude REPL │ ├── TeamFile (.claude/teams/{team}/team.json) │ members: [{ agentId, agentName, color, backendType, paneId, ... }] │ ├── Mailbox (.claude/teams/{team}/inboxes/{agent_name}.json) │ 用于 peer DM、权限请求、shutdown、idle 通知 │ ├── Backend运行时自动选择 │ ├── tmux → 创建 tmux pane发 claude CLI 命令 │ ├── iterm2 → it2 split pane │ └── in-process → AsyncLocalStorage 隔离同进程运行 │ └── Leader Permission BridgeleaderPermissionBridge.ts module-level 全局 setter → 允许 in-process 队友使用 leader 的权限对话框4.2 后端选择策略registry.ts优先级从高到低tmux— 在 tmux 会话中且 tmux 可用iterm2— 在 iTerm2 中且it2CLI 已安装in-process— 兜底无终端分栏依赖选择结果在进程生命周期内固定缓存cachedBackend。4.3 TeamFile持久化团队状态路径~/.claude/teams/{team_name}/team.jsontypeTeamFile{leadAgentId:string// 唯一领导者members:TeamMember[]// 包含 paneId、backendType、agentIdhiddenPaneIds:PaneId[]// 支持 hide/showallowedPaths:TeamAllowedPath[]// 权限沙盒}写操作均通过lockfile序列化防止并发的多个 Claude 进程竞争写constLOCK_OPTIONS{retries:{retries:10,minTimeout:5,maxTimeout:100}}4.4 文件信箱Mailbox通信协议路径~/.claude/teams/{team}/inboxes/{agent_name}.json消息格式typeTeammateMessage{from:string// 发送者名称text:string// 消息内容timestamp:stringread:booleancolor?:string// 发送者颜色UI 显示用summary?:string// 5-10 字摘要预览用}消息类型teammateMailbox.ts消息类型方向用途peer_dm任意→任意SendMessageTool 的 DMpermission_requestworker→leader权限请求路由permission_responseleader→worker权限决策回传shutdown_requestleader→worker优雅关闭idle_notificationworker→leader完成通知sandbox_permission_request/responseworker↔leader沙盒权限写操作原子性通过lockfile包10 次重试 指数退避防止 N 个并发 Claude 进程同时写同一收件箱。4.5 权限同步机制permissionSync.tsWorker 遇到需要确认的工具调用 │ ├─ [in-process 路径] │ leader 的 ToolUseConfirm 队列内存 setter │ ← leaderPermissionBridge.getLeaderToolUseConfirmQueue() │ └─ [pane 路径] worker → writeToMailbox(leader, permission_request) │ leader 轮询检测 → UI 弹出确认对话框 │ leader → writeToMailbox(worker, permission_response) │ worker 轮询收到决策 → 继续 / 拒绝轮询间隔PERMISSION_POLL_INTERVAL_MS 500ms由useSwarmPermissionPollerhook 驱动。4.6 In-Process Teammate 隔离通过AsyncLocalStorage实现同进程内的上下文隔离spawnInProcessTeammate() ├── createAbortController() ← 独立中止不受领导者影响 ├── createTeammateContext() ← AsyncLocalStorage 上下文 ├── registerTask(taskState, setAppState) ← 在 AppState 中注册显示 └── startInProcessTeammate() ← runWithTeammateContext() 包裹 └── runAgent() 在隔离上下文中执行优点无需额外进程共享 API 连接和 MCP 服务器。缺点崩溃会影响主进程不支持从 in-process teammate 内部再派生后台代理限制“In-process teammates cannot spawn background agents”。5. Coordinator 模式COORDINATOR_MODE是另一套协调架构与 Fork 互斥CLAUDE_CODE_COORDINATOR_MODE1 → isCoordinatorMode() ├── getCoordinatorSystemPrompt() ← 专属系统提示词 ├── getCoordinatorUserContext() ← 专属用户上下文 ├── INTERNAL_WORKER_TOOLS ← 仅限内部工具集 └── 禁用 Fork subagent设计目标Coordinator 是轻量级调度者不直接执行工具而是向 worker 发任务与 Fork克隆并行策略相对。6. 通信流汇总┌─────────────────────────────────────────────────────────┐ │ Leader REPL │ │ ┌─────────────────────────────────────────────────┐ │ │ │ Mailbox Poller500ms 轮询 │ │ │ │ · 收取 peer_dm → 注入为 attachment 消息 │ │ │ │ · 收取 permission_request → 弹 UI 对话框 │ │ │ │ · 收取 idle_notification → Task 状态更新 │ │ │ └─────────────────────────────────────────────────┘ │ │ ↕ 内存信号 │ │ ┌──────────────────────────────────────────────────┐ │ │ │ In-Process TeammateAsyncLocalStorage 隔离 │ │ │ │ permission via leaderPermissionBridge (内存 fn) │ │ │ └──────────────────────────────────────────────────┘ │ └─────────────────────────────────────────────────────────┘ ↕ 文件 I/Omailbox lockfile ┌──────────────────────────────────────────────────────────┐ │ Pane Teammate独立进程 │ │ claude CLI 以环境变量指定 team/agent 信息 │ │ · CLAUDE_CODE_AGENT_ID / NAME / TEAM_NAME / COLOR │ │ · CLAUDE_CODE_LEADER_AGENT_ID │ └──────────────────────────────────────────────────────────┘7. 设计亮点7.1 Prompt Cache 最大化Fork 设计Fork 子代理通过useExactToolstrue 固定 placeholder result 确保 API 请求前缀与父代理字节完全一致最大化 server-side prompt cache 命中率。这是性能优化的核心。7.2 工具权限隔离allowedTools 替换语义parent session rules: [A, B, C] 子代理 allowedTools: [X, Y] → 子代理实际拥有: [cliArg rules, X, Y]父级 session 允许的工具不会自动泄漏给子代理必须显式传递。cliArg层SDK--allowedTools始终保留因为这是外部用户的显式意图。7.3 文件信箱 lockfile 并发安全多个 Claude 进程可同时写同一信箱通过lockfile的重试指数退避实现可靠串行化。比共享内存队列更健壮跨进程比数据库更轻量。7.4 Backend 抽象层TeammateExecutor接口interfaceTeammateExecutor{spawn(config:TeammateSpawnConfig):PromiseTeammateSpawnResultsendMessage(agentId,message):Promisevoidkill(agentId):Promisevoid}统一接口屏蔽 tmux / iTerm2 / in-process 差异注册模式registerTmuxBackend()避免循环依赖。7.5 sidechain 转录每个代理独立 JSONL每个子代理把消息写入subagents/{agentId}.jsonl支持会话恢复和调试查看且使用增量追加lastRecordedUuid游标不重写历史。7.6 Claude.md 精简读写代理分级优化只读代理Explore、Plan自动剥除 claudeMd 和 gitStatus节省大量 token。按agentDefinition.omitClaudeMd字段在代理定义文件中声明kill-switch 通过 GrowthBook 控制。8. 可直接复用的设计模式8.1 文件信箱Mailbox lockfile场景多进程 / 多 worker 异步通信且不想引入消息队列中间件。// 写序列化写带重试退避awaitlockfile.lock(path,opts)constmsgsJSON.parse(awaitreadFile(path))msgs.push(newMsg)awaitwriteFile(path,JSON.stringify(msgs))lockfile.unlock(path)// 读轮询 标记已读constmsgsreadMailbox(agentName)constunreadmsgs.filter(m!m.read)8.2 权限决策气泡bubble permission mode场景子任务需要弹 UI但希望对话框出现在主进程终端而非子进程。permissionMode: bubbleleaderPermissionBridgesetter 注册Pane 路径mailbox 双向路由8.3 AsyncLocalStorage 上下文隔离场景同进程并发运行多个租户每个租户有独立的 agentId、teamName、color 等上下文。constteammateContextnewAsyncLocalStorageTeammateContext()runWithTeammateContext(ctx,()runAgent(...))// 在任意调用深度取上下文getTeamName()→ teammateContext.getStore()?.teamName8.4 Generator 流式 终止信号asyncfunction*runAgent(...):AsyncGeneratorMessage{constcontrollerisAsync?newAbortController():parent.abortControllerforawait(constmsgofquery({signal:controller.signal})){yieldmsg// 流式透传}if(controller.signal.aborted)thrownewAbortError()}消费方调用break即可中止不需要手动清理——finally块统一清理。8.5 懒加载工具 SchemalazySchema()constinputSchemalazySchema(()z.object({...}))// 首次访问时才构建 Zod schema配合 feature() 门控避免在模块加载阶段就执行条件feature()检查build-time DCE 友好。8.6 Backend 注册模式避免循环依赖// registry.tsletTmuxBackendClass:(new()PaneBackend)|nullnullexportfunctionregisterTmuxBackend(cls:new()PaneBackend){TmuxBackendClasscls}// TmuxBackend.ts在模块末尾registerTmuxBackend(TmuxBackend)Backend 实现文件负责向 registry 注册自己registry 不直接 import 实现打破循环依赖。9. 源码索引职责文件Agent 工具入口src/tools/AgentTool/AgentTool.tsx子代理运行核心src/tools/AgentTool/runAgent.tsFork 消息构建src/tools/AgentTool/forkSubagent.tsTeamFile 锁src/utils/swarm/teamHelpers.ts权限同步src/utils/swarm/permissionSync.ts领导者权限桥src/utils/swarm/leaderPermissionBridge.tsIn-process 运行器src/utils/swarm/inProcessRunner.tsIn-process 生成src/utils/swarm/spawnInProcess.ts文件信箱src/utils/teammateMailbox.ts内存信箱src/utils/mailbox.ts后端接口src/utils/swarm/backends/types.ts后端注册表src/utils/swarm/backends/registry.tsSwarm 门控src/utils/agentSwarmsEnabled.tsCoordinator 模式src/coordinator/coordinatorMode.ts通信时序图agent-swarm-communication.puml

相关文章:

Agent / Subagent / Swarm 解析:ClaudeCode源码深度解读

Claude Code 的多智能体系统由三个递进层级构成:单次 Subagent(轻量委托)→ Fork Subagent(上下文克隆分身)→ Swarm / Team(多进程协作群)。它们共享同一个 runAgent() 核心,但在隔…...

核心组件大换血:Backbone与Neck魔改篇:YOLO26魔改C3/C4模块:引入Bottleneck Transformer增强局部自注意力

一、引言:为什么C3/C4模块需要“换血”? YOLO系列目标检测模型发展至今,CSP(Cross Stage Partial)架构始终是Backbone和Neck的核心设计范式。从YOLOv5的C3到YOLOv8的C2f,再到YOLO11中灵活化的C3k/C3k2变体,CSP模块一直在追求更高效的特征提取能力。然而,一个结构性问题…...

java-位运算

位运算符是对操作数以二进制比特为单位进行的操作和运算,位运算数的运算对象只能是整型和字符型,结果为整型。位运算就是将参与运算的数据转换成2进制的补码后计算的,计算后在回到原码,转换为10进制原码反码和补码:10进…...

OpenRocket:免费开源火箭设计与飞行仿真软件完整指南

OpenRocket:免费开源火箭设计与飞行仿真软件完整指南 【免费下载链接】openrocket Model-rocketry aerodynamics and trajectory simulation software 项目地址: https://gitcode.com/GitHub_Trending/op/openrocket 你是否曾梦想设计自己的火箭,…...

2026届学术党必备的AI辅助写作工具实测分析

Ai论文网站排名(开题报告、文献综述、降aigc率、降重综合对比) TOP1. 千笔AI TOP2. aipasspaper TOP3. 清北论文 TOP4. 豆包 TOP5. kimi TOP6. deepseek 全新范式由人工智能技术为毕业论文写作予以提供,借助自然语言处理以及生成式模型…...

第一章-01-初识对象

1.生活中或是程序中,我们都可以使用设计表格、生产表格、填写表格的形式组织数据2.在程序中设计表格,称之为:设计类(class)打印表格,称之为:创建对象填写表格,称之为:对象…...

RAGFlow 系列教程 第十一课:文本分块策略详解

系列: RAGFlow v0.25.0 源码深度解析 作者: 耿雨飞 前置知识: 已完成第十课"LLM 抽象层 – 统一模型接口"的学习 导读 在 RAG(检索增强生成)系统中,文本分块是连接"文档解析"与"向量检索"的关键桥梁。分块质量直接决定了检索精度和生成质量—…...

RAG系统出错别再“重跑“了!Doctor-RAG教你精准定位、局部修复

研究背景 现在大家用LLM做复杂问答的时候,Agentic RAG(智能检索增强生成)已经成了主流方案。简单说就是让模型一边推理、一边检索、一边生成,像侦探破案一样一步步拼凑答案。但问题来了——推理链越长,出错的概率就越…...

Upoad靶场--文件上传

摘要:文章详细介绍了Upload-Labs靶场的21个关卡,每个关卡都涉及不同的文件上传安全问题,如JavaScript过滤、MIME-Type检测、黑名单绕过、.htaccess利用、条件竞争和文件包含漏洞等。通过分析源码、修改请求包和使用Webshell测试,展…...

Xbox成就解锁终极指南:免费工具助你快速达成100%完成度

Xbox成就解锁终极指南:免费工具助你快速达成100%完成度 【免费下载链接】Xbox-Achievement-Unlocker Achievement unlocker for xbox games (barely works but it does) 项目地址: https://gitcode.com/gh_mirrors/xb/Xbox-Achievement-Unlocker Xbox Achiev…...

109 【自适应天线与相控阵技术】基于近场扫描的偏移相位中心天线测量

目录 ​编辑 1. 引言 2. DPCA基本原理与几何推导 2.1 运动平台杂波谱展宽 2.2 双相位中心空间重合条件 2.3 静止杂波对消与运动目标保留 2.4 等效单基地雷达位置 3. 阵列结构与相位中心控制 3.1 企业馈电与双通道接收 3.2 重叠孔径与分裂孔径 3.3 阵列互耦与保护带 …...

hyperf 架构人才与机制建设

“架构人才与机制建设”不是培养几个高手,而是把高手的判断力做成团队可复制的流程、标准和训练体系。在 Hyperf 场景,最佳做法是“人(梯队) 机制(评审) 资产(模板) 实战&#xff08…...

GPT5.5与代码效率优化:5个技巧让编码速度翻倍

在(c.877ai.cn)这类AI模型聚合平台上把GPT-5.5拉出来跑了一周的编程场景后,我整理了5个真正能提升编码效率的技巧。不是那种"帮我写个Hello World"的基础用法,而是能嵌入到日常开发工作流里的实战技巧。先说结论&#x…...

利用 Taotoken 模型广场为新产品选择性价比最高的文本生成模型

利用 Taotoken 模型广场为新产品选择性价比最高的文本生成模型 1. 理解模型选型的关键维度 为新产品选择文本生成模型时,需要综合考虑多个关键因素。首先是模型能力与产品需求的匹配度,例如生成内容的长度、创意性、逻辑性等。其次是成本因素&#xff…...

LittleSnitch for Linux:当macOS的看门狗终于踏上Linux的土地

LittleSnitch for Linux:当macOS的看门狗终于踏上Linux的土地 如果你是一名从macOS迁移到Linux的开发者,你一定不会对LittleSnitch感到陌生。这款macOS上大名鼎鼎的网络流量监控与防火墙工具,曾无数次在后台默默替你拦截了那些“不请自来”的…...

一些单片机学习相关

MCUMCU中文叫单片微型计算机,单片机 MCU把所有东西全部集成在一颗小芯片里:CPU 内核内存 RAM闪存 Flash(存代码)串口、GPIO、定时器、ADC 等外设不需要外接复杂内存、硬盘,上电就能直接跑代码。51内核8051内核&#x…...

3步实现Windows电脑安装安卓应用的终极方案

3步实现Windows电脑安装安卓应用的终极方案 【免费下载链接】APK-Installer An Android Application Installer for Windows 项目地址: https://gitcode.com/GitHub_Trending/ap/APK-Installer 你是否曾经在电脑上想要运行某个安卓应用,却因为传统模拟器太过…...

如何高效获取八大网盘直链:LinkSwift专业级下载助手实战指南

如何高效获取八大网盘直链:LinkSwift专业级下载助手实战指南 【免费下载链接】Online-disk-direct-link-download-assistant 一个基于 JavaScript 的网盘文件下载地址获取工具。基于【网盘直链下载助手】修改 ,支持 百度网盘 / 阿里云盘 / 中国移动云盘 …...

观察不同模型在Taotoken平台上的计费差异与性价比选择

观察不同模型在Taotoken平台上的计费差异与性价比选择 1. 理解Taotoken的计费机制 Taotoken平台采用按Token消耗量计费的模式,不同模型根据其计算复杂度、参数量级和供应商定价策略,会对应不同的Token单价。平台提供的用量看板能清晰展示每次调用的Tok…...

终极解决方案:5分钟轻松将Word文档转换为专业LaTeX格式

终极解决方案:5分钟轻松将Word文档转换为专业LaTeX格式 【免费下载链接】docx2tex Converts Microsoft Word docx to LaTeX 项目地址: https://gitcode.com/gh_mirrors/do/docx2tex 还在为Word到LaTeX的繁琐转换而烦恼吗?手动复制粘贴、格式错乱、…...

基于STM32的甲醛浓度检测报警设计

基于STM32的甲醛浓度报警(仿真+程序)功能介绍具体功能:1.滑动变阻器模拟甲醛浓度检测;2.单片机处理,在LCD1602上显示检测的甲醛浓度和上限值;3.单片机也通过串口显示检测到的甲醛浓度和上限值&a…...

别再只用LIKE了!MySQL LOCATE函数处理字符串查找的3个实战场景(附代码)

别再只用LIKE了!MySQL LOCATE函数处理字符串查找的3个实战场景(附代码) 当我们需要在MySQL中查找字符串时,大多数人首先想到的是LIKE操作符。确实,LIKE简单易用,能够满足基本的模糊匹配需求。但在某些特定场…...

用STM32H723ZGT6的FDCAN1和FDCAN2实现板内数据互传:一个自环测试的实战项目

STM32H723ZGT6双FDCAN自环通信实战:从配置到调试全解析 在嵌入式系统开发中,CAN总线因其高可靠性和实时性被广泛应用于工业控制、汽车电子等领域。而STM32H723ZGT6作为STMicroelectronics推出的高性能微控制器,其内置的两个FDCAN控制器&#…...

CANoe+VH6501实战:手把手教你精准干扰CAN-FD的Rx报文(含CAPL代码)

CANoeVH6501实战:精准干扰CAN-FD接收报文的CAPL实现指南 当车载网络测试从传统CAN转向CAN-FD协议时,报文接收端(Rx)的故障注入成为验证ECU鲁棒性的关键环节。与发送端(Tx)干扰不同,Rx干扰需要精…...

终极RDPWrap指南:免费解锁Windows远程桌面多用户并发连接

终极RDPWrap指南:免费解锁Windows远程桌面多用户并发连接 【免费下载链接】rdpwrap RDP Wrapper Library 项目地址: https://gitcode.com/gh_mirrors/rd/rdpwrap 你是否曾因Windows家庭版或专业版无法支持多用户同时远程连接而感到困扰?想要在个人…...

FCN-32s/16s/8s效果差多少?用PASCAL VOC数据实测对比,聊聊语义分割的‘细节魔鬼’

FCN-32s/16s/8s效果差多少?用PASCAL VOC数据实测对比,聊聊语义分割的‘细节魔鬼’ 在计算机视觉领域,语义分割任务对细节的捕捉能力直接决定了模型的实用价值。当我们面对FCN系列模型时,一个核心问题始终萦绕:不同上采…...

创业公司如何借助 Taotoken 快速低成本地验证 AI 产品创意

创业公司如何借助 Taotoken 快速低成本地验证 AI 产品创意 1. 统一接入降低技术门槛 对于资源有限的创业团队而言,直接对接多个大模型厂商的 API 存在显著的技术成本。不同厂商的认证方式、请求格式和返回结构各异,开发适配层会消耗宝贵的工程时间。Ta…...

彻底解决Windows图形驱动兼容性问题:Mesa3D驱动安装与故障排除终极指南

彻底解决Windows图形驱动兼容性问题:Mesa3D驱动安装与故障排除终极指南 【免费下载链接】mesa-dist-win Pre-built Mesa3D drivers for Windows 项目地址: https://gitcode.com/gh_mirrors/me/mesa-dist-win 你是否曾在Windows上运行老旧游戏或专业图形软件时…...

【AI模型】高性能推理框架

高性能推理框架 【AI&游戏】专栏-直达 本节介绍面向生产环境的高性能推理框架,适用于需要高吞吐量、低延迟的企业级应用场景。随着大模型应用场景的不断扩展,如何高效、稳定地部署和运行大模型成为了企业和开发者面临的重要挑战。高性能推理框架通过…...

Hugging Face Transformers 加载模型时,那些容易被忽略但超有用的参数(cache_dir, proxies, revision 实战详解)

Hugging Face Transformers 加载模型时,那些容易被忽略但超有用的参数(cache_dir, proxies, revision 实战详解) 当你第一次接触 Hugging Face Transformers 时,可能只关注了 pretrained_model_name_or_path 这个核心参数。但随着…...