Diffusion结构介绍

算力基础概念

AI芯片介绍

Transformer架构、生成模型演进等内容讲解：

• 核心内容：覆盖 Atlas 800、Atlas 900 等 IE 实验涉及的硬件内容，以及鲲鹏 920 芯片相关介绍。

• Transformer架构核心知识点讲解

  • Attention机制核心原理

    • 核心作用逻辑：核心作用是让模型带着问题匹配上下文重点，自动为关键信息分配更高权重，解决长距离依赖问题。

    • 标准实现流程：实现分为三步，依次为生成自定义QKV矩阵、计算注意力权重、权重与V加权求和输出结果。

    • 相较传统模型优势：相较RNN、LSTM具备并行计算能力，可捕捉全局依赖，支持动态权重分配适配不同场景需求。

    • 多头注意力机制：通过多组独立QKV并行计算，提升模型在不同场景下的信息捕获能力，同时通过多粒度信息融合保障输出稳定性。

  • Transformer基础组件功能
    • 残差连接（ADD）：用于解决深度神经网络的梯度消失、网络退化问题，通过捷径链路简化反向传播的链式求导过程。
    • 归一化（Normalization）：对网络中间输出数据做标准化处理，避免数据幅度过大，保障网络运行的稳定性与训练效率。
    • 全连接神经网络：Transformer的最终输出层，所有张量计算最终都需通过全连接层完成结果的输出与映射。
  • 张量与矩阵计算基础
    • 张量维度对应规则：一维张量对应向量，二维张量对应矩阵，更高维张量由低维张量逐层堆叠，神经网络底层本质为张量运算。
    • 全连接层拉平逻辑：输入的二维像素矩阵需先通过flatten操作拉平为一维向量，匹配矩阵相乘的维度要求，支持批次并行训练。
    • 维度校验要求：搭建全连接层时需严格校验前后层矩阵的行列匹配关系，维度参数错误会直接导致网络运行失败。
  • 整体架构与运行逻辑
    • 编码器（Encoder）结构：输入数据经分词、词嵌入、位置编码后，依次经过注意力层、残差归一化层、全连接层，可堆叠N层扩容参数。
    • 解码器（Decoder）结构：在编码器基础上新增掩码（Mask）多头注意力机制，通过遮掩后续位置信息，模拟逐词输出的预测逻辑。
    • 主流模型适配：GPT、BERT等主流大模型可根据需求单独使用编码器或解码器模块，最终通过线性层与ReLU激活完成输出。
    • 配套PPT说明：本次配套使用华为官方PPT，内容表述相对精简，本次讲解补充的拓展内容为核心学习要点。
  • 可视化演示核心结论
    • 维度不变性规则：输入词向量维度为 768 维，经位置编码、自注意力机制处理后，输出维度始终保持 768 维不变。
    • 批量计算逻辑：实际运行时会将QKV三个矩阵合并为大矩阵做批量运算，而非逐个向量单独计算，提升整体运算效率。
    • 结果输出逻辑：最终经全连接层与softmax函数输出各候选词的概率，按概率排序选择对应结果完成预测。

• 生成模型演进与Diffusion基础介绍

  • 早期生成模型技术基础
    • 生成对抗网络（GAN）：由生成器、判别器两个网络构成对抗训练关系，生成器从高斯分布噪声出发生成样本，判别器负责判别真伪。
    • 其他早期生成模型：VAE采用“压缩-还原”的变分下界优化逻辑，可逆变换模型通过数据分布的可逆变形实现样本生成。
  • Diffusion模型核心逻辑
    • 基础原理：源自非均衡热力学的扩散逻辑，分为正向加噪、反向去噪两个过程，正向逐步为图片添加高斯噪声直至变为纯噪点。
    • UNet结构实现：采用“下采样-上采样”的U型结构，下采样通过卷积、池化压缩图片实现加噪，上采样恢复尺寸实现去噪。
    • Stable Diffusion逻辑：通过CLIP模块完成文本与图片的跨模态关联，CLIP团队开源了4亿组图文配对标签数据集，为模型训练提供支撑。