登录社区云，与社区用户共同成长
邀请您加入社区
在推荐系统、大模型训练等场景中，嵌入（Embedding）类操作频繁出现，其核心特征是离散索引访问——即根据 (table_id, row_id) 这样的非连续索引，从缓存中读取或更新对应数据。SIMT（Single Instruction Multiple Thread）执行模型，允许每个线程独立寻址、独立执行，从而显著提升离散访问场景下的并行效率。在此背景下，Ascend C作为面向AI Co
通过针对鲲鹏多NUMA架构的本地内存分配与线程调度优化、结合鲲鹏数学库对大模型矩阵乘法实现的专项加速以及采用专家延迟计算技术有效重叠通信与计算过程，KTransformers在千亿参数模型推理中实现了显存占用降低百分之九十以上的显著效果，为大规模模型部署提供了创新的底层技术支撑。前沿学术探索如源头活水，而开发者始终是创新的关键所在。未来，鲲鹏与昇腾将继续携手全球开发者，以更开放的技术、更丰富的工具
