利用uvicorn、Starlette和pipeline将一个训练好的大模型发布成一个web服务

技术名词：

1、Starlette：

它是一个轻量级、高度可用性和可扩展性的Web框架，它专门为异步应用程序设计。 Starlette基于Python 3.6+的异步/协程语法，具有快速响应性能和低延迟。你可以将它理解为Java的Spring。

安装：pip install starlette

2、uvicorn

它是一个Python Web服务器，用于实现基于ASGI（异步服务器网关接口）的异步Web应用程序。它是用Python编写的，可高效、高性能地处理HTTP请求和响应，而且很容易配置和部署。你可以将它理解为Java的Tomcat。

安装：pip install uvicorn

编写一个web服务server.py：

from starlette.applications import Starlette
from starlette.responses import JSONResponse
from starlette.routing import Route
from transformers import pipeline
from transformers import AutoModelForSequenceClassification, AutoTokenizer
import asyncioasync def homepage(request):payload = await request.body()string = payload.decode("utf-8")response_q = asyncio.Queue()await request.app.model_queue.put((string, response_q))output = await response_q.get()return JSONResponse(output)async def server_loop(q):model_name = "/data/checkpoint-10598"tokenizer = AutoTokenizer.from_pretrained(model_name)tokenizer.deprecation_warnings["Asking-to-pad-a-fast-tokenizer"] = Truemodel = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=4)pipe = pipeline("text-classification", model=model, tokenizer=tokenizer)while True:(string, response_q) = await q.get()out = pipe(string)await response_q.put(out)app = Starlette(routes=[Route("/", homepage, methods=["POST"]),],
)@app.on_event("startup")
async def startup_event():q = asyncio.Queue()app.model_queue = qasyncio.create_task(server_loop(q))

启动服务：

uvicorn server:app --port 8000

测试：

[ipa@comm]$ curl -X POST -d "我爱你" http://127.0.0.1:6788

结果：

[{"label":"LABEL_3","score":0.8000535368919373}]

总结：

利用transformers的pipeline来搭建一个Python的web服务，这样我们微调的大模型就能很简单的发布给他人使用，非常的方便便捷。

当然这个样例程序还有需要待完善的地方，你觉得该如何完善？