昇思25天学习打卡营第19天|文本解码原理--以MindNLP为例
根据前文预测下一个单词一个文本序列的概率分布可以分解为每个词基于其上文的条件概率的乘积MindNLP/huggingface Transformers提供的文本生成方法Greedy search
·
文本解码原理--以MindNLP为例
回顾：自回归语言模型
根据前文预测下一个单词
一个文本序列的概率分布可以分解为每个词基于其上文的条件概率的乘积
- 𝑊_0:初始上下文单词序列
- 𝑇: 时间步
- 当生成EOS标签时，停止生成。
MindNLP/huggingface Transformers提供的文本生成方法
Greedy search
鲲鹏昇腾开发者社区是面向全社会开放的“联接全球计算开发者，聚合华为+生态”的社区，内容涵盖鲲鹏、昇腾资源，帮助开发者快速获取所需的知识、经验、软件、工具、算力，支撑开发者易学、好用、成功，成为核心开发者。
更多推荐
1
0- 0
已为社区贡献17条内容
所有评论(0)