通义千问1.5-1.8B-Chat-GPTQ-Int4 WebUI 集成Dify实战：构建可视化AI应用工作流

通义千问1.5-1.8B-Chat-GPTQ-Int4 WebUI 集成Dify实战构建可视化AI应用工作流你是不是也遇到过这样的场景手头有一个不错的AI模型比如部署好的通义千问想把它变成一个能解决实际业务问题的应用比如一个智能客服助手或者一个能结合公司内部文档的知识问答机器人。但一想到要写后端接口、设计前端界面、处理复杂的对话逻辑就觉得头大感觉这得是一个完整的开发团队才能搞定的事情。其实现在有了更简单的办法。今天我就来分享一个实战方案如何把你在星图GPU平台上部署好的通义千问模型快速接入Dify这个低代码AI应用开发平台。整个过程你几乎不需要写复杂的代码就能在可视化界面上拖拽编排对话流程集成外部知识库最终发布成一个可以直接使用的Web应用或者API。这特别适合产品经理、运营同学或者想快速验证AI想法的小团队。1. 为什么选择Dify来“包装”你的模型在深入动手之前我们先聊聊为什么是Dify。你可能已经成功部署了通义千问的WebUI可以通过一个网页和它对话。但这离一个真正的“应用”还有距离。Dify扮演的角色就是一个功能强大的“应用组装车间”。想象一下你的通义千问模型是一个核心的“大脑”它很擅长理解和生成文字。但一个完整的AI应用除了大脑还需要“记忆”知识库、“逻辑判断”工作流和“交互界面”App。Dify就是帮你把这些部件轻松组装起来的工具。它通过标准化的API与你的模型“大脑”连接然后提供图形化界面让你配置其他部分。这么做有几个实实在在的好处降低门槛业务人员可以直接在界面上设计对话逻辑和知识库无需等待开发排期。快速迭代调整一个提示词、增加一个知识库文件都是分钟级的事情可以快速试错。功能丰富直接获得了RAG检索增强生成、多轮对话、工具调用等高级能力不用从零开发。易于集成生成的应用可以一键发布为共享链接或API方便嵌入到其他系统里。接下来我们就一步步看看怎么把这两者打通。2. 前期准备确保你的通义千问WebUI“准备就绪”在开始连接Dify之前我们需要先确认你的模型服务端是畅通且符合要求的。这里假设你已经按照星图镜像的指引成功部署了“通义千问1.5-1.8B-Chat-GPTQ-Int4”的WebUI服务。2.1 检查WebUI的API服务大多数基于Gradio或类似框架的WebUI都内置了API接口。你需要做两件事确认API地址通常如果你的WebUI访问地址是http://你的服务器IP:7860那么其API地址很可能就是http://你的服务器IP:7860/api或者http://你的服务器IP:7860/api/v1。启动服务后你可以尝试在浏览器访问http://你的服务器IP:7860/api看看是否有响应。找到模型对话接口最关键的是找到那个接收用户输入、返回模型生成的接口。它通常类似于/chat/completions或/generate。你需要查阅你所使用的WebUI项目的文档或者通过浏览器的开发者工具F12在WebUI页面上发送一条消息观察网络请求找到对应的接口路径和请求格式。一个常见的、与OpenAI API兼容的接口路径是http://你的服务器IP:7860/v1/chat/completions。我们后续会以这个为例。2.2 测试API连通性你可以用一个简单的curl命令来测试API是否工作正常。打开终端输入以下命令请替换为你的实际IP和端口curl -X POST http://你的服务器IP:7860/v1/chat/completions \ -H Content-Type: application/json \ -d { model: qwen-1.8b-chat, messages: [{role: user, content: 你好请介绍一下你自己。}], stream: false, max_tokens: 100 }如果返回一个包含模型回复的JSON数据比如{choices:[{message:{content:你好我是通义千问...}}]}那就恭喜你API准备就绪。3. 在Dify中配置通义千问模型作为推理后端现在我们进入Dify平台的操作环节。假设你已经部署好了Dify服务社区版或云服务并拥有管理员或开发者权限。3.1 添加自定义模型供应商登录Dify进入“设置” - “模型供应商”页面。点击“添加模型供应商”在供应商列表中选择“自定义通过API调用”或类似的选项不同版本可能名称略有不同。在配置页面中你需要填写以下关键信息供应商名称可以起一个容易识别的名字比如“星图-通义千问”。API Base URL这里就填入你上一步确认的API基础地址例如http://你的服务器IP:7860/v1。注意这里填的是/v1而不是完整的/chat/completions。API Key如果你的WebUI没有设置API密钥验证这里可以留空或者随意填写一个非空字符串如sk-dummy-key。如果WebUI有鉴权则需要填写正确的密钥。模型列表点击“获取模型列表”如果接口兼容Dify可能会自动拉取。如果没有你可以手动添加。点击“添加模型”在“模型ID”处填写你的模型标识例如qwen-1.8b-chat。这个“模型ID”需要和你在API请求体中model字段发送的值保持一致。3.2 创建并测试模型配置添加完供应商和模型后Dify会生成一个属于你自己的模型配置。进入“模型配置”页面你应该能看到刚刚添加的“星图-通义千问”供应商及其下的qwen-1.8b-chat模型。点击该模型进入配置详情。这里你可以设置一些默认参数比如最大生成长度max_tokens、温度temperature等。建议先保持默认后续在具体应用中再调整。关键一步测试连接。在模型配置页面通常会有一个“测试”或“验证”按钮。点击它Dify会向你的模型API发送一个简单的测试请求。如果一切配置正确你会看到测试成功的提示并收到模型的测试回复。至此你的通义千问模型已经成功“入驻”Dify成为了一个可被调用的推理能力。4. 实战构建一个检索增强生成RAG应用模型接入了我们来做一个最实用的场景构建一个能回答特定领域问题的智能助手。比如你想让它基于你们公司的产品手册来回答问题。4.1 创建知识库并上传文档在Dify侧边栏进入“知识库”模块点击“创建知识库”。给你的知识库起个名字比如“产品手册V1.0”。在知识库创建好后进入其详情页点击“上传文件”。你可以上传PDF、Word、TXT、Markdown等格式的产品文档。Dify会自动在后台进行文本提取、分块和向量化处理它会调用你配置的嵌入模型。上传完成后等待处理状态变为“可用”。这样知识库就准备好了。4.2 使用“对话型应用”模板创建工作流进入“应用”模块点击“创建新应用”。选择“对话型应用”模板。这个模板预置了“用户提问 - 知识库检索 - 模型生成答案”的标准流程非常适合我们。给应用起名比如“产品智能客服助手”。4.3 可视化编排工作流创建应用后你会进入一个图形化的工作流编排界面。通常已经有一个预设的流程开始节点用户输入的问题从这里进入。知识库检索节点这个节点会连接到我们刚才创建的“产品手册V1.0”知识库。你需要在这里配置检索参数比如返回最相关的几条片段top k。大语言模型节点这是核心。你需要在这个节点的配置里选择我们之前接入的模型qwen-1.8b-chat。提示词编排这是灵魂所在。在LLM节点的“提示词”区域你会看到一个预设的模板大概长这样请根据以下上下文信息回答用户的问题。如果上下文信息不足以回答问题请直接回答“根据现有资料我无法回答这个问题”。 上下文 {{#context#}} ... {{/context#}} 问题{{#query#}}这个模板的意思是Dify会把知识库检索到的内容{{#context#}}和用户的问题{{#query#}}自动填充进来然后交给通义千问模型去生成答案。你可以根据你的需求修改这个提示词比如要求回答更简洁或者以特定的格式输出。4.4 测试与发布应用点击右上角的“预览”或“测试”按钮在右侧的聊天窗口直接提问比如“你们产品的高级版有哪些功能”。系统会自动走完整个工作流检索知识库 - 组装提示词 - 调用通义千问模型 - 返回答案。观察回答是否准确引用了你上传的手册内容。你可以不断调整提示词和检索参数来优化效果。测试满意后点击“发布”。你可以选择“发布为Web应用”生成一个可分享的链接任何有链接的人都可以访问这个聊天助手。你也可以选择“发布为API”获取API密钥和端点方便集成到你自己的网站或系统中。5. 更复杂的玩法设计多轮对话与条件分支除了简单的RAGDify的工作流引擎还能支持更复杂的逻辑。比如你可以设计一个多轮对话的客户需求调研机器人。变量与记忆在工作流中你可以定义“变量”来存储用户提供的信息比如“用户行业”、“预算范围”。在后续的对话轮次中模型可以引用这些变量。条件判断节点你可以添加“IF/ELSE”节点。例如判断用户说的预算是否高于某个值如果高于则走“推荐高级方案”的分支调用对应的知识库和提示词如果低于则走“推荐基础方案”的分支。多步骤调用一个工作流里可以串联多个LLM调用。比如第一步先让模型总结用户需求第二步根据总结的需求去检索知识库第三步再生成最终方案。这些都可以通过拖拽节点、连线、配置参数来完成无需编写复杂的后端逻辑代码。这极大地扩展了你能构建的AI应用类型。6. 总结走完这个流程你会发现将本地部署的通义千问模型与Dify这样的低代码平台结合就像给强大的引擎装上了易于操控的方向盘和仪表盘。你不再需要关心API网关、会话管理、上下文拼接这些底层细节而是可以专注于业务逻辑和用户体验的设计。这种模式特别适合中小团队快速原型验证和内部工具开发。你可以在几小时内就把一个裸奔的模型变成一个功能清晰、界面友好的专业应用。无论是用于客户服务、内部知识查询、还是创意生成这套组合都能显著降低你的启动成本和迭代速度。下次当你有一个好模型却不知道如何让它更好地服务业务时不妨试试这个“可视化工作流”的思路。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。