【昇思学习打卡营打卡-第二十八天】MindNLP ChatGLM-6B StreamChat

MindNLP ChatGLM-6B StreamChat

本案例基于MindNLP和ChatGLM-6B实现一个聊天应用。

安装mindnlp

pip install mindnlp

安装mdtex2html

pip install mdtex2html

配置网络线路

export HF_ENDPOINT=https://hf-mirror.com

代码开发

下载权重大约需要10分钟

from mindnlp.transformers import AutoModelForSeq2SeqLM, AutoTokenizer
import gradio as gr
import mdtex2htmlmodel = AutoModelForSeq2SeqLM.from_pretrained('ZhipuAI/ChatGLM-6B', mirror="modelscope").half()
model.set_train(False)
tokenizer = AutoTokenizer.from_pretrained('ZhipuAI/ChatGLM-6B', mirror="modelscope")

可以修改下列参数和prompt体验模型

prompt = '你好,简单介绍一下MindSpore'
history = []
response, _ = model.chat(tokenizer, prompt, history=history, max_length=20)
response

结果

MindSpore 是一个基于人工智能的开源框架