MindSpore Serving与TGI框架 の 对比

一、MindSpore Serving

MindSpore Serving是一款轻量级、高性能的服务工具，帮助用户在生产环境中高效部署在线推理服务。

使用MindSpore完成模型训练>导出MindSpore模型，即可使用MindSpore Serving创建该模型的推理服务。

MindSpore Serving包含以下功能：

• 支持自定义关于模型的预处理和后处理，简化模型的发布和部署。

• 支持batch功能，包含多个实例的请求会被拆分组合以满足模型batch size的需要。

• 支持分布式模型推理功能。

• 支持客户端gRPC接口，提供简单易用的客户端Python封装接口。

• 支持客户端RESTful接口。

部署Serving推理服务

• serving_server.py为启动服务脚本文件。
• xxx.mindir为上一步网络生成的模型文件。
• servable_config.py为模型配置文件：定义了模型的处理函数。

启动服务

执行serving_server.py，完成服务启动：

import os
import sys
from mindspore_serving import serverdef start():servable_dir = os.path.dirname(os.path.realpath(sys.argv[0]))servable_config = server.ServableStartConfig(servable_directory=servable_dir, servable_name="add",device_ids=(0, 1))server.start_servables(servable_configs=servable_config)server.start_grpc_server(address="127.0.0.1:5500")server.start_restful_server(address="127.0.0.1:1500")if __name__ == "__main__":start()

启动脚本中start_servables将在设备0和1上共加载和运行两个推理副本，来自客户端的推理请求将被切割分流到两个推理副本。

当服务端打印如下日志时，表示Serving gRPC服务和RESTful服务启动成功。

Serving gRPC server start success, listening on 127.0.0.1:5500
Serving RESTful server start success, listening on 127.0.0.1:1500

执行推理

客户端提供两种方式访问推理服务，一种是通过gRPC方式，一种是通过RESTful方式。
使用serving_client.py，启动Python客户端。
————————————————————————————————————————
RESTful是一种基于HTTP协议的网络应用程序的设计风格和开发方式，通过URI实现对资源的管理及访问，具有扩展性强、结构清晰的特点。基于其轻量级以及通过HTTP直接传输数据的特性，RESTful已经成为最常见的Web服务访问方式。用户通过RESTful方式，能够简单直接的与服务进行交互。

• 通过mindspore_serving.server.start_restful_server接口启动RESTful服务：

请求方式
当前仅支持POST类型的RESTful请求，请求格式如下：

POST http://HOST:1234/model/LLaMA:generated_stream

如果使用curl工具，RESTful请求方式如下：

curl -X POST -d '{"instances":{"image":{"b64":"babe64-encoded-string"}}}' http://HOST:1234/model/LLaMA:generated_stream

二、TGI框架

若干客户端同时请求Web Server的“/generate”服务后，服务端将这些请求在“Buffer”组件处整合为Batch，并通过gRPC协议转发请求给NPU推理引擎进行计算生成。

将请求发给多个Model Shard，多个Model Shard之间通过NCCL通信 是因为显存容量有限或出于计算效率考虑，需要多卡进行分布式推理。

推理框架一般会将第1次推理(首Token)和余下的推理（生成其余Token）分别设计为Prefill和Decode两个过程

• Prefill 是将1个请求的Prompt一次性转换为KV Cache,并生成第1个Token的过程。
  假设Prompt的长度为L，MultiHead Attention的头数为H（Head），每个头的维度为HS（Head Size，暂不考虑GQA/MQA）。
  计算该过程时，输入Attention的Q、K、V维度均为[L,H, HS],输入FFN的hidden（隐藏层向量）维度为[L, H *HS]。
  完成模型计算后，仅对最后一个Logit进行解码得到首Token；中间过程计算得到的K、V被保留在显存中（即KV Cache，用于避免后续Decode过程重复计算这些K、V导致算力浪费）。

• Decode：从第2个Token开始，将上一次推理的输出（新生成的1个Token）作为输入进行一次新的推理。假设BatchSize=1，已生成的新子序列长度为N，在计算该过程时，输入Attention的Q维度为[1,H, HS], K、V维度则为[L+N+1,H, HS]，输入FFN的hidden维度为[1, H*HS]。
  完成模型计算后，对唯一的Logit进行解码得到新生成的Token；中间过程计算得到的K、V追加到KV Cache中（原因同上）。重复Decode流程持续生成Token直到模型输出(End of Sentence,表示输出结束的特殊Token)。

将推理分为Prefill和Decode，是考虑到生成第1个Token和其余Token时计算模式的差异较大，分开实现有利于针对性优化。

TGI引入Continuous Batching特性，其中请求的合并和剔除就是通过Router向Server发送Concatenate和Filter的Request实现。

Continuous Batching（或称Inflight Batch）核心思想是在两次Decode的间隙插入新请求的Prefill、各请求的合并和剔除等操作，从而以动态Batch推理的方法提高NPU利用率。