本文介绍了ChatGLM相关内容，包括ChatGLM的定义、模型结构、预测方式，还说明了基于其的项目。ChatGLM是通用语言模型，ChatGLM-6B是开源双语对话模型。项目结合ChatGLM和Prompt技术，介绍了在Paddle上的使用，包括模型读取、功能设计等。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

1. 引言

1.1 什么是ChatGLM

General Language Model (GLM)，据论文 https://arxiv.org/pdf/2103.10360.pdf 所述，是一种基于自回归空白填充的通用语言模型 （Autoregressive Blank Infilling）。

GLM通过添加2D位置编码和允许任意顺序预测跨度来改进空白填充预训练，这导致在NLU任务上的性能优于BERT和T5。同时，GLM可以通过改变空白的数量和长度来针对不同类型的任务进行预训练。在NLU、条件生成和无条件生成的广泛任务中，在给定相同的模型大小和数据的情况下，GLM优于BERT、T5和GPT，并且在具有1.25×BERTLarge参数的单个预训练模型中实现了最佳性能，证明了其对不同下游任务的可推广性。

而 ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，ChatGLM-6B 使用了和 ChatGPT 相似的技术，并针对中文问答和对话进行了优化，具有 62 亿参数，经过约 1T 标识符的中英双语训练。

不过，由于 ChatGLM-6B 的规模较小，目前已知其具有相当多的局限性，如事实性/数学逻辑错误，可能生成有害/有偏见内容，较弱的上下文能力，自我认知混乱，以及对英文指示生成与中文指示完全矛盾的内容。请大家在使用前了解这些问题，以免产生误解。更大的基于 1300 亿参数 GLM-130B 的 ChatGLM 正在内测开发中：https://github.com/THUDM/GLM-130B。

1.2 ChatGLM的模型结构

GLM使用单个Transformer，结构和Transformer类似，但对结构进行了几个修改：

1. 重新安排了层归一化和残差连接的顺序，这对于大规模语言模型来说至关重要，以避免数值误差
2. 使用正弦线性层来进行输出token预测；
3. 用GeLU取代ReLU激活功能

1.3 ChatGLM的预测

GLM图解如下。绿色部分是输入语句中的空缺部分，模型通过自回归生成填入相应的词语

在情感分类任务时如下。一个输入的句子中，通过在 [MASK] 标记填充，而在下面的句子里，模型通过填词的方式进行了情感分类。

Coronet has the best lines of all day cruisers. it is really good.

了解了ChatGLM模型的用法后，那么我们可以使用Paddle上的ChatGLM-6B模型了

Paddle官方的模型和微调代码： https://github.com/PaddlePaddle/PaddleNLP/tree/8e4087126c21f15d47f78c95f7d5070dee2bbac9/examples/language_model/chatglm

1.4 本项目介绍

本项目的技术基础是 ChatGLM 和 Prompt。ChatGLM 可以让机器像人类一样进行对话。Prompt 则是一种预设的对话模板，能够帮助机器生成更加准确和流畅的回答。通过结合这两种技术，项目能够提供高度自然和准确的交流体验。

用法和chatGPT差不多，意思懂就行。由于当前平台gradio和streamlit部署硬盘只有10G，故不能在线部署这个12G的GLM模型

美图云修

商业级AI影像处理工具

50 查看详情

2. 实验准备

需要用到最新的Paddle和PaddleNLP

In [1]

import paddleprint(paddle.version.cuda())from IPython.display import clear_output
!unzip paddlenlp.zip!cp -Rf paddlenlp /home/aistudio/.data/webide/pip/lib/python3.7/site-packages/paddlenlp# !python -m pip install paddlepaddle-gpu==0.0.0.post112 -f https://www.paddlepaddle.org.cn/whl/linux/gpu/develop.html #  注意安装后重启内核# 下次重启该项目后，可能要再安装paddlepaddle-gpu==0.0.0.post112，或者加 --user 避免下次再安装!python -m pip install paddlepaddle-gpu==0.0.0.post112 -f https://www.paddlepaddle.org.cn/whl/linux/gpu/develop.html --user
clear_output()print('安装完毕，注意重启内核')

安装后，注意重启内核

3. 读取模型

（上一步安装后，注意重启内核）

如果模型在3-5分钟内没读成功或者出现cudaErrorECCUncorrectable = 214 错误的话。考虑重启项目，换一张显卡试试

In [ ]

import warnings 
warnings.filterwarnings("ignore")import paddlefrom paddlenlp.transformers import (
    ChatGLMConfig,
    ChatGLMForConditionalGeneration,
    ChatGLMTokenizer,
)from predict_convert import convert_example_neko,convert_example, get_response#读取原始的chatglm-6b模型model_name_or_path = 'data/data217141'# model_name_or_path = 'THUDM/glm-515m'tokenizer = ChatGLMTokenizer.from_pretrained(model_name_or_path)

config = ChatGLMConfig.from_pretrained(model_name_or_path)
paddle.set_default_dtype(config.paddle_dtype)

model = ChatGLMForConditionalGeneration.from_pretrained(
    model_name_or_path,
    tensor_parallel_degree=paddle.distributed.get_world_size(),
    tensor_parallel_rank=0,
    load_state_as_np=True,
    dtype=config.paddle_dtype,
)

model.eval()# 如果模型在3-5分钟内没读成功或者出现cudaErrorECCUncorrectable = 214 错误的话。考虑重启项目，换一张显卡试试

4. 功能设计

4.1 问答和历史对话设计

正如前面提到，GLM是个填词模型，对话通过填空实现。故参考了官方的测试代码，用 ‘问：’、‘答：’分别表示用户和系统回复的起始，用 [Round x] 表示轮次来记录历史对话。

通过预载入对话历史（prompt表示），实现模型根据对话填充‘答：’后面的内容

最终变成通过prompt来实现角色设定，利用ChatGLM的填词功能来填充角色对话

在 history = [('xxxx'),('xx')] 处修改

括号内前面是用户说，后面是系统答。修改和设计对话历史，让模型顺着前文更好地回答

4.2 角色模板设计

参考自https://github.com/f/awesome-chatgpt-prompts

0 充当 Linux 终端 1 充当英语翻译和改进者 2 充当英翻中 3 充当英英词典(附中文解释) 4 充当前端智能思路助手 5 担任面试官 6 充当 J*aScript 控制台 等等通过输入对应数字来使用

通过prompt来实现角色扮演功能，为更好体验请按图下操作

修改下面括号内对话历史，前面是用户说，后面是系统答。让模型顺着前文更好地回答

In [2]

import osfrom IPython.display import clear_output as clearimport json
input_length=2048 # max input lengthoutput_length=160 # max output lengthstart = 0history = ''# 括号内前面是用户说，后面是系统答。修改和设计对话历史，让模型顺着前文更好地回答history = [('你是一只会说话、会搭建神经网络、精通<a style="color:#f60; text-decoration:underline;" title="python" href="https://www.php.cn/zt/15730.html" target="_blank">python</a>的猫猫，可以自由回答问题，像人类一样思考和表达。现在你与我对话时每一句话后面都要加上喵，并加上用表情。”。','好的主人喵~

以上就是基于ChatGLM-6B模型 + prompt实现角色扮演功能的详细内容，更多请关注其它相关文章！

# 进行了  # 阳泉朋友圈营销推广方案  # 松原seo推广哪个便宜  # 小余seo顾问  # 沂源网站建设的好处  # 九江网站建设工作  # 网站建设与管理自学教程  # 深圳网站优化一站式服务  # 建设网站利润如何  # 江门seo公司甄选火星  # 佛山网站seo推广数据  # 命令行  # 来实现  # 更好地  # 括号内  # linux  # 离线  # 开源  # 美图  # 重启  # 中文网  # type  # fig  # udio  # red  # chatgpt  # ai  # git  # python 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： HTML5如何引用typescript  虽千万人吾往矣什么意思  华为5g手机怎么选择  云淡风轻什么意思  如何加装固态硬盘  微信最多可以加多少好友  破太岁是什么意思  电动车仪表盘上的power是什么意思  启辰星power标志是什么意思  j*a怎么用数组缓存  春运抢票软件哪个最好用  固态硬盘如何接主机  公司的tm市盈率为负是什么意思  雅迪电动车上的power是什么意思  汽车收音机power是什么意思  网络光刻机是干什么用的  开机如何进入命令行模式  市盈率动亏损是什么意思  type-c接口接地是什么意思  怎么在爱奇艺中投屏到电视最新方法  商誉是什么意思  如何注释typescript  东芝固态硬盘如何保修  充电器上的power是什么意思  如何用dos命令分区  如何使用net命令  j*a中如何创建列表数组  如何设置从固态硬盘启动  春运大巴上抢票怎么抢票  typescript怎么使用vue  5g手机怎么没视频通话功能  怎么确定手机是5g  a03怎么根据编号找文链接入口  自由服务器如何做动态ip域名解析  如何用好typescript  a股等权市盈率中位数是什么意思  笔记本电脑多少钱  在遥控器中power是什么意思  单片机蜂鸣器响了怎么停  红米手机怎么设置变成5G手机  单片机.lib文件怎么打开  固态硬盘如何装入机箱  舆论是什么意思  play的三人称单数和过去式  mac如何使用vi命令行  win7怎么装扫描仪  typescript中如何定义json  j*a怎么读取char数组  花呗征信不好如何恢复 如何修复不良的花呗征信  春运抢票失败怎么抢