应用实践/LLM原理和实践/基于MindSpore的GPT2文本摘要

基于MindSpore的GPT2文本摘要¶

数据集加载与处理

1. 数据集加载

   本次实验使用的是nlpcc2017摘要数据，内容为新闻正文及其摘要，总计50000个样本。

2. 数据预处理

   原始数据格式：

   article: [CLS] article_context [SEP]
   summary: [CLS] summary_context [SEP]
   

   预处理后的数据格式：

   模型构建

3. 构建GPT2ForSummarization模型，注意shift right的操作。

   模型推理¶

   数据处理，将向量数据变为中文数据

4. ---------------------训练结果因为算力不足，暂未成功

5.