云端AI大模型群体智慧后台架构思考

1 大模型的调研

1.1 主流的大模型

• openai-chatgpt

• 阿里巴巴-通义千问
  一个专门响应人类指令的大模型。我是效率助手，也是点子生成机，我服务于人类，致力于让生活更美好。
  

• 百度-文心一言（千帆大模型）
  文心一言"是基于百度的深度学习平台飞桨和文心知识增强大模型开发的。它通过持续地从海量数据和大规模知识中进行融合学习，具备知识增强、检索增强和对话增强等技术特色。
  

• 字节跳动-云雀大模型
  在给出提示词的情况下依然不太聪明
  

• 字节跳动-扣子
  扣子为你提供了一站式 AI 开发平台 无需编程,你的创新理念都能迅速化身为下一代的 AI 应用 开始使用
  

  优点：测试过之后，在给出人设和回复逻辑之后，coze可以相对准确的将人类的模糊指令拆解为机器人对应的执行步骤。而且对大模型本身的对话功能也有很好的表现。
  缺点：还没有对应的API开放，暂时还在测试中。我已经填写问卷看看能不能申请到内侧的API。

1.2 提示词工程

提示词工程，或称Prompt Engineering，是一种专门针对语言模型进行优化的方法。其核心思想在于通过设计和调整输入的提示词（prompt），来引导这些模型生成更准确、更有针对性的输出文本。在与大型预训练语言模型如GPT-3、BERT等交互时，给定的提示词会极大地影响模型的响应内容和质量。
提示词工程关注于如何创建最有效的提示词，以便让模型能够理解和满足用户的需求。这可能涉及到对不同场景的理解、使用正确的词汇和语法结构，以及尝试不同的提示策略以观察哪种效果最佳。提示词可以简单如一个问题，复杂如一段描述性文本，包含了一系列精心选择的关键词或指令，旨在帮助模型更好地理解请求的任务或目标。
提示词工程具有广泛的应用场景，如信息检索、自然语言生成、智能键盘和聊天机器人、写作辅助工具等。在信息检索领域，提示词工程可以帮助用户更有效地查询信息，提高检索结果的准确性和相关性。在自然语言生成领域，通过为模型提供适当的提示词，可以控制生成文本的风格、内容和结构，从而满足不同场景下的需求。在智能键盘和聊天机器人等交互式应用中，提示词工程可以用于提供用户输入建议，帮助用户更快速地输入和表达他们的意图。在写作辅助工具中，提示词工程则可用于提供写作建议和指导，提高写作质量和效率。
随着大规模语言模型的发展，提示词工程已经成为一个重要的领域。
提示词工程是一种强大的工具，用于引导大型语言模型产生高质量的文本输出，允许用户更好地利用这些模型的能力，并为各种应用程序提供了广泛的可能性。

1.3 监督学习

监督学习（Supervised Learning）是机器学习中的一种重要方法，它主要是利用一组已知输入和输出数据（称为训练数据或样本）来训练模型，使得模型能够对新的未知输入进行预测或分类。在监督学习过程中，模型会尝试找到输入和输出之间的映射关系或规律，并通过不断调整模型参数来优化这种关系，以最小化预测值与实际值之间的误差。

监督学习的主要步骤如下：

1. 数据准备：准备一组带有标签（即已知输出）的训练数据。这些数据通常是由人工标注或实际观测得到的。

2. 模型选择：根据问题的性质选择合适的模型结构，如线性回归、决策树、支持向量机、神经网络等。

3. 模型训练：使用训练数据来训练模型。这通常涉及到最小化一个损失函数（loss function），该函数衡量了模型预测值与真实值之间的差异。通过迭代优化算法（如梯度下降）来调整模型的参数，使得损失函数达到最小。

4. 模型评估：使用独立的验证数据集来评估模型的性能。常见的评估指标包括准确率、精度、召回率、F1分数等。

5. 模型应用：一旦模型训练完成并经过评估，就可以将其应用于新的未知输入数据，以进行预测或分类。

监督学习在许多领域都有广泛应用，如图像识别、语音识别、自然语言处理、金融预测等。它的优点在于可以利用已知标签的数据来指导模型的训练，从而得到较为准确的预测结果。然而，它也有其局限性，比如需要大量的标注数据，标注过程可能耗时且昂贵，以及模型可能受到训练数据中噪声和偏差的影响等。

1.3 大模型调参

大模型调参是指通过输入数据集对训练模型进行优化，以达到提升模型效果的方法。这一过程涉及预训练和微调两大阶段。
在预训练阶段，核心目标是找到最优的数据配比与最优的架构设计，从而得到最有效的参数数值。这通常是通过向模型喂入大量的无标注数据进行无监督训练来实现的，使模型涌现出更好的基础能力，以在不同任务上都获得较好效果。
而在模型微调阶段，则是在预训练模型参数的基础上，通过提供少量高质量、有标注的数据进行有监督训练。微调的核心在于确定调整哪些参数以及如何调整，以使得模型在特定领域呈现出更加优异的表现。
在大模型时代，调参成为提升模型性能的关键步骤。通过不断调整和优化参数，可以使模型更好地抓取文本重点、理解文本、输出文本，从而提高模型在目标任务上的性能。无论是在自然语言处理、计算机视觉还是推荐系统等领域，大模型参数高效微调技术都发挥着重要作用。

2 解决方案

2.1 大模型调用

先给出一套关于大模型调用的基础方案，后续在实际需求和指导中优化。

2.1.1 技术架构

1. 客户端服务

   • ai-robot：机器人受到模糊指令，向云端大模型请求拆解指令。
   • web-test：可视化的测试界面，可以直观得测试大模型微调结果。

2. 应用服务

   • ai-chat-backend：web协议解析，用于接受和处理来自ai-rebot和web-test的请求数据。
   • ai-chat-server：包含所有的内部服务，如：关键词提取，敏感词识别，上下文保存，数据持久化等。

3. 基础服务

   • keywords：根据给定的词库识别文本中的关键词。
   • sensitive：根据给定的词库识别文本中的铭感词。
   • openai-proxy：这里标红了，默认我们会使用国内的大模型；但是如果要使用openai，我们需要一台海外服务器来做反向代理。
   • tokenizer：用于计算每次请求的tokens数量，我感觉这个可能需要向用户提供收费套餐。
   • mock-open-ai：用于模拟大模型的返回，减少开发时的测试成本。

4. 数据服务

   • mysql：持久化存储，包括但不限于用户信息，机器人ID，token使用数量等。
   • vectordb：这里需要一个词向量数据库来进行相似度匹配；这个可以自己搭建或者直接使用云厂商提供的。

5. . 支撑服务

   • doker：doker容器化部署，方便在公网服务器部署。

   • docker swarm：官网的跨界点容器编排工具，只要在单一节点上操作就可以所以集群下所有节点和容器。

     

     

   • registry：没一台机器人应该有自己的ID

   • redis：内存数据库，可以存储一些使用频率较高的指令，方便快速解析。

   • prometheus：线上节点监控，保证各服务正常工作。

2.1.2 部署架构图

2.1.3 技术导图

2.2 即使通讯

概念中的群体智慧：一个群组内的机器人，彼此之间分工合作，并且实时同步信息，达成合作的目的。在群体智慧中，肯定需要一套即时通讯系统，实时同步数据。使用自主研发的实时通讯有以下优点：

1. 可控，方便定制化
2. 数据可以实时分析
3. 数据私密安全

2.2.1 IM技术的特点

1. 实时性：保证消息实时触达。（轮询与长连接）（消息提示推送，和我们阅读的消息是不一样的。）
2. 可靠性：保证消息的不丢失和不重复。（ACK 机制）TCP 只能保证消息数据链路可靠，不能保证业务可靠。
3. 一致性：保证同一条消息在多人、多终端展现顺序的一致性。（消息序号生成器服务端）
4. 安全性：保证数据传输安全、数据存储安全、消息内容安全。（WWS、HTTPS、TLS、
   AES 等）

2.2.2 IM基本架构

• 用户层：客户端与服务器端进行网络通信、收发消息。
• 连接层：为客户端收发消息提供出入口。主要的任务：保持海量用户连接；解析协议，对传输内容进行编码；维护session；推送消息。
• 核心业务层(逻辑层)：负责IM系统各项功能的核心逻辑实现。
• 路由层：负责消息投递。
• 数据层：负责IM系统相关数据的持久化存储，包括消息内容，ID等信息。

2.2.3 IM分层架构

2.2.3.1 IM分层架构-接入层

• 接入层主要任务

  1. 建立客户端和后台服务的信道
  2. 接收来自客户端的大量并发请求

• 接入层作用

  • 连接整流 http websocket tcp
    
  • 通信安全
  • 报文解压缩
  • 初步防攻击 发送速率过快等
    

2.2.3.2 IM分层架构-逻辑层

• 逻辑层任务
  1. 用户逻辑：机器人注册，机器人上线，机器人下线，机器人分组
  2. 机器人组逻辑：添加组成员，删除组成员，组列表
  3. 消息逻辑：点对点消息，组消息
  4. 其他：文件，图片，视频传输
• 为什么需要逻辑层
  1. 可以水平扩展组件

2.2.3.3 IM分层架构-数据层

• 逻辑层任务

  1. 对上游屏蔽存储引擎
     

  2. 对上游屏蔽缓存cache
     

  3. 对上游提供友好的接口
     

2.2.4 构想