昇思25天学习打卡营第23天|MindNLP ChatGLM-6B StreamChat
本案例基于MindNLP和ChatGLM-6B实现一个聊天应用。今天学习了如何利用MindNLP和ChatGLM-6B来构建一个聊天应用的相关代码。通常查阅资料,我了解到ChatGLM-6B是由清华大学和智谱AI联合研发的产品,是一个开源的、支持中英双语的对话语言模型。这个模型使用了和ChatGPT相似的技术,针对中文问答和对话进行了优化。
·
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
前言
本案例基于MindNLP和ChatGLM-6B实现一个聊天应用。
一、环境配置
示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。
%%capture captured_output
# 实验环境已经预装了mindspore==2.2.14,如需更换mindspore版本,可更改下面mindspore的版本号
!pip uninstall mindspore -y
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.2.14
配置网络线路:
!export HF_ENDPOINT=https://hf-mirror.com
二、代码开发
代码如下(示例):
!pip install mindnlp
!pip install mdtex2html
import mindnlp
from mindnlp.transformers import AutoModelForSeq2SeqLM, AutoTokenizer
import gradio as gr
import mdtex2html
model = AutoModelForSeq2SeqLM.from_pretrained('ZhipuAI/ChatGLM-6B', mirror="modelscope").half()
model.set_train(False)
tokenizer = AutoTokenizer.from_pretrained('ZhipuAI/ChatGLM-6B', mirror="modelscope")

可以修改下列参数和prompt体验模型
prompt = '你好'
history = []
response, _ = model.chat(tokenizer, prompt, history=history, max_length=20)
response
结果为:
总结与感想
今天学习了如何利用MindNLP和ChatGLM-6B来构建一个聊天应用的相关代码。通常查阅资料,我了解到ChatGLM-6B是由清华大学和智谱AI联合研发的产品,是一个开源的、支持中英双语的对话语言模型。这个模型使用了和ChatGPT相似的技术,针对中文问答和对话进行了优化。
鲲鹏昇腾开发者社区是面向全社会开放的“联接全球计算开发者,聚合华为+生态”的社区,内容涵盖鲲鹏、昇腾资源,帮助开发者快速获取所需的知识、经验、软件、工具、算力,支撑开发者易学、好用、成功,成为核心开发者。
更多推荐

所有评论(0)