探索无网用Deepseek+qwen来助力Solidworks二次开发

在本教程中，我们将详细介绍如何在本地环境中使用 DeepSeek 和 Qwen 模型，结合 AnythingLLM，构建一个用于 SolidWorks 二次开发的私有化智能知识库。

目录

1. 前言

2. 环境准备

   • 2.1 安装 Ollama

   • 2.2 安装 Docker Desktop

3. DeepSeek 本地部署

   • 3.1 下载 DeepSeek 模型

   • 3.2 运行 DeepSeek 模型

4. 安装 AnythingLLM

   • 4.1 下载并安装 AnythingLLM

   • 4.2 配置 LLM 服务

5. 构建知识库

   • 5.1 上传 SolidWorks 相关文档

   • 5.2 向量化处理

6. 集成与应用

   • 6.1 集成 DeepSeek 和 AnythingLLM

   • 6.2 在 SolidWorks 中调用

7. 总结

1. 前言

随着人工智能技术的快速发展，构建私有化的智能知识库已成为提升工作效率的重要手段。DeepSeek 是一款开源的 AI 模型，性能可与 OpenAI 的 GPT-4 相媲美，支持本地运行，确保数据隐私。Qwen 模型则在多种任务上表现出色，适合用于构建专业领域的知识库。结合 AnythingLLM，我们可以高效地管理和查询 SolidWorks 相关的技术文档和开发资料。

2. 环境准备

2.1 安装 Ollama

Ollama 是一个开源的大型语言模型（LLM）服务工具，可以在本地运行开源大语言模型。首先，访问 Ollama 官网 下载适用于您操作系统的安装包。安装完成后，打开命令行窗口，输入以下命令验证安装：

ollama -v

如果显示版本号，则表示安装成功。

3. DeepSeek 本地部署

3.1 下载 DeepSeek 模型

在命令行中运行以下命令，下载 DeepSeek 模型：bash

复制编辑

ollama pull deepseek-r1:7b

根据您的硬件配置，选择合适的模型版本。例如，1.5B 模型适用于资源有限的设备。下载过程可能需要一些时间，耐心等待即可。

我下载了7b+32b+qwen2.5

3.2 运行 DeepSeek 模型

下载完成后，运行以下命令启动 DeepSeek 模型：

llama run deepseek-r1:32b 

此时，您可以在命令行中与 DeepSeek 进行交互，测试其功能。

4. 安装 AnythingLLM

4.1 下载并安装 AnythingLLM

访问 AnythingLLM 官网 下载适用于您操作系统的安装包。安装完成后，启动应用程序。

4.2 配置 LLM 服务

在 AnythingLLM 中，选择 LLM 服务提供商为 Ollama。在配置中，输入以下信息：

• LLM 服务地址：http://host.docker.internal:11434
• 模型名称：deepseek-r1:1.5b

保存配置后，重启 AnythingLLM 以使配置生效。

5. 构建知识库

5.1 上传 SolidWorks 相关文档

在 AnythingLLM 中，创建一个新的工作区。点击上传按钮，选择 SolidWorks 相关的文档（如 PDF、Word、TXT 等格式），上传到工作区。

5.2 向量化处理

上传完成后，右键点击上传的文件，选择“加入工作区”。然后，点击“保存并嵌入”，将文档内容转换为向量数据，存储到向量数据库中。

6. 集成与应用

6.1 集成 DeepSeek 和 AnythingLLM

通过上述配置，DeepSeek 模型和 AnythingLLM 已成功集成。您可以在 AnythingLLM 的聊天界面中，输入与 SolidWorks 相关的问题，DeepSeek 将根据知识库中的内容进行回答。

6.2 在 SolidWorks 中调用

要在 SolidWorks 中调用该知识库，您需要开发一个插件或宏，利用 SolidWorks 的 API 与 AnythingLLM 进行交互。具体步骤包括：

• 创建插件：使用 SolidWorks 提供的 API，创建一个新的插件项目。
• 集成 HTTP 请求：在插件中，使用 HTTP 请求与运行在本地的 AnythingLLM 进行通信。
• 处理响应：将从 AnythingLLM 获取的回答，展示在 SolidWorks 的界面中，供用户参考。

7. 总结

通过本教程，您已成功在本地环境中部署了 DeepSeek 和 Qwen 模型，结合 AnythingLLM，构建了一个用于 SolidWorks 二次开发的私有化智能知识库。该系统能够高效地管理和查询 SolidWorks 相关的技术文档和开发资料，提升开发效率。

请注意，以上步骤仅为概述，具体实施过程中可能需要根据您的实际情况进行调整。建议在部署前，详细阅读相关文档，并进行充分的测试，以确保系统的稳定性和可靠性。(上面文字来字chat gpt大概步骤没什么问题)

下面是实际情况，我的机器 只有RTX3060+64G内存。

运行32b的模型时，还是有点慢的。 差不2.5tokens/1s

有时候问完问题，大模型在推理时，一个字一个字的输出时的逻辑其实是值得新手去学习的。

        

这基本上完全离线的生成状态，方便无网打造自己的私人编辑助理。

代码层面:

       

用的千问2.5 7b模型 ，跑起来相当流畅。53 tok/s

代码质量也是相关的高。