OpenClaw飞书机器人进阶：Qwen3.5-9B图片问答自动回复

OpenClaw飞书机器人进阶Qwen3.5-9B图片问答自动回复1. 为什么选择OpenClaw飞书Qwen3.5-9B组合去年我们团队内部遇到一个典型问题产品文档和功能说明分散在各个Confluence页面新同事遇到界面不熟悉时老员工需要反复截图标注解释。直到某天深夜调试时我偶然把一张报错界面截图发给接入了Qwen3.5的OpenClaw机器人它竟然准确识别出错误模块并返回了解决方案——这个意外发现催生了现在的自动化知识库方案。这套组合的独特价值在于多模态理解Qwen3.5-9B能同时处理图片内容和文字提问即时响应飞书消息触发本地模型推理3秒内返回结构化答复隐私安全敏感产品截图无需上传第三方全程在本地服务器处理2. 系统搭建关键步骤2.1 基础环境准备在Ubuntu 22.04服务器上我用Docker同时部署了两个核心服务# OpenClaw网关服务 docker run -d --name openclaw \ -p 18789:18789 \ -v /data/openclaw:/root/.openclaw \ qingchen/openclaw:latest # Qwen3.5-9B模型服务注意显存要求 docker run -d --name qwen \ --gpus all \ -p 8000:8000 \ -v /data/qwen:/app/models \ csdn/qwen3.5-9b-awq-4bit:latest \ python -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen1.5-9B-Chat-AWQ \ --quantization awq \ --host 0.0.0.0这里有个容易踩坑的点OpenClaw默认使用18789端口而vLLM的OpenAI兼容接口默认用8000端口两者需保持端口映射一致。我最初因为端口冲突调试了半小时。2.2 飞书通道深度配置飞书开放平台创建应用时务必开启接收消息和上传文件权限。配置文件openclaw.json需要新增关键参数{ channels: { feishu: { enabled: true, appId: cli_xxxxxx, appSecret: xxxxxxxx, encryptKey: xxxxxxxx, verificationToken: xxxxxxxx, permissions: { message: true, file: true } } }, models: { default: qwen-multimodal, providers: { local-qwen: { baseUrl: http://localhost:8000/v1, api: openai-completions, models: [ { id: qwen-multimodal, name: Qwen3.5-9B多模态, capabilities: [vision] } ] } } } }特别注意capabilities中的vision声明这是启用图片理解的关键。配置完成后需要执行openclaw gateway restart openclaw plugins install m1heng-clawd/feishu3. 图片问答技能开发实录3.1 核心交互逻辑设计当用户机器人发送图片时系统执行以下流程飞书服务器将图片临时URL推送给OpenClaw网关下载图片并转Base64编码构造包含图片和用户问题的Prompt发送给Qwen3.5解析模型返回的Markdown格式回复将回答渲染成飞书消息卡片我开发了一个自定义skill来处理这个流程核心代码如下// handlers/imageQA.js module.exports async ({ event, feishu, models }) { const { message_id, image_key } event; const imageUrl await feishu.downloadFile(image_key); const base64Image fs.readFileSync(imageUrl, base64); const response await models.complete({ model: qwen-multimodal, messages: [{ role: user, content: [ { type: text, text: 请分析这张图片并回答 event.text }, { type: image_url, image_url: data:image/png;base64,${base64Image} } ] }] }); await feishu.reply(message_id, { msg_type: interactive, card: buildMarkdownCard(response.choices[0].message.content) }); };3.2 Prompt工程优化心得经过两周的调优我发现这些技巧能显著提升回答质量明确角色设定在系统消息中定义你是专业的产品技术支持专家结构化输出要求添加请按现象描述→可能原因→解决方案格式回答分辨率适配对于UI截图提示模型注意右上角状态栏图标和底部工具栏按钮一个典型的工作Prompt模板你正在分析一个企业软件产品的界面截图请根据用户问题专注回答技术细节 用户问题{{question}} 回答要求 1. 先描述图片中可见的界面元素 2. 结合文档说明各功能模块作用 3. 如果涉及报错给出排查步骤 4. 使用Markdown格式化输出4. 实战效果与调优经验4.1 典型使用场景当产品经理发送新版原型图并提问评审下这个数据看板布局是否合理时机器人会识别出折线图、饼图、数据表格等组件对比设计规范指出Y轴刻度缺失问题建议增加图例说明和hover交互说明实测响应时间分布小图1MB2.8-3.5秒高清截图2-3MB4.1-5.3秒含多图的PDF文档8-12秒4.2 遇到的三大挑战图片尺寸问题初始版本未压缩图片导致大图超时解决方案在skill中添加了sharp库进行自动缩放中文OCR准确率界面小字号文字识别易出错改进方法在Prompt中强调优先识别底部状态栏文字多轮对话记忆默认配置不保留聊天历史最终方案使用OpenClaw的conversation插件维护5轮上下文5. 安全增强与企业级适配建议虽然是小团队工具我们也做了这些安全措施飞书IP白名单限制只有公司网络能调用机器人图片内容过滤使用onnxruntime运行NSFW检测模型操作日志审计所有问答记录存入SQLite供复查对于想规模化使用的团队建议为不同部门创建独立的技能实例设置飞书消息命令权限如/qa仅限技术组使用定期导出对话数据用于模型微调获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。