数据挖掘标签_鲲鹏昇腾开发者社区

数据挖掘

【AscendC】MoeInitRoutingGroupedMatmulGrad 算子设计

本文针对MoE模型训练中反向传播阶段的显存溢出问题，提出了一种融合算子优化方案。通过将moe_permute和moe_group_matmul的反向计算合并为单一算子，避免了中间张量d_expanded_x的全量物化。该方案采用分块写入workspace ring buffer并即时执行scatter-add的方式，将显存需求从数GB降至MB级别。同时，通过将权重梯度计算拆分到独立算子，规避了中间

 Master_Ketation
2026-07-22 12:11:45

 379

 4

#数据挖掘 #人工智能 #c++
使用ModelArt平台昇腾芯片，将Restnet50模型迁移到猫狗分类实验

总体实验较为简单，数据集处理较为繁琐，在书写Dataset和DataLoader时需要不断考虑NPU是否可以适配，后经过torch_npu的自动迁移，发现无需将cuda相关的函数以及字符修改，自动迁移可以进行自动更换，方便我们使用。其次需要将模型迁移到不同数据集时更换预训练的网络层，以避免输出与label不匹配。Ascend使用整体情况，发现模型在npu’和cpu之间转换时耗时太长，同样的实验环境

 空间驰梦
2023-12-17 19:31:44

 207

#分类 #数据挖掘 #人工智能
【赠书】基于鲲鹏的大数据挖掘算法实战：清华&华为倾力出品！

新年快到了，特地安排一期送书活动，感谢大家这一年的关注！大家有需要的这本书的可以参与这次活动哟！(具体参与方式见文末！)计算机企业核心技术是企业的立身之本，更是企业把握市场主动权、扩大自身竞争优势的关键。为了方便广大计算机领域相关人员学习计算机方面前沿科技，也为了方便企业提高自身的技术核心竞争力，机械工业出版社与华为、百度、字节跳动、小米等国内优秀的互联网公司合作出版了“计算机企业核心技术丛书”。

深度学习技术前沿
2023-01-13 13:00:16

 572

#数据挖掘 #算法 #华为 +1
04 基于MindSpore通过GPT实现情感分类

注: 如果想要运行的更快一些，可以在训练时需要V100的算力。

血色橄榄枝
2024-11-21 10:22:31

 317

 2

#分类 #数据挖掘
昇思训练营—模型推理和性能优化

将模型权重和激活值从高精度（如 FP32）转换为低精度（如 FP16、BF16、INT8、INT4 甚至 INT2），减少内存占用和计算量。用 “大模型（教师模型）” 的输出指导 “小模型（学生模型）” 训练，使小模型学到大模型的知识，在参数量大幅减少的情况下保持接近的精度。移除模型中 “冗余” 的参数或结构（如权重接近 0 的神经元、不重要的卷积核），降低模型复杂度。

lugang139
2025-08-04 19:47:04

 125

 1

#opencv #数据挖掘
昇思25天学习打卡营第12天|ShuffleNet图像分类

ShuffleNet作为一种高效的卷积神经网络，通过创新的设计和优化，成功实现了在移动设备上进行实时图像分类的目标，为类似应用提供了有力的支持。

Xavier_F
2024-07-21 01:22:13

 325

 5

#学习 #分类 #数据挖掘
MindSpore 数据变换Transforms

mindspore数据变换Transforms

murongmeng
2023-02-26 19:57:03

 462

#python #人工智能 #数据挖掘
《昇思25天学习打卡营第6天|ResNet50图像分类》

从本次开始，接触一些上层应用。本次通过经典的模型，开始本次任务。这里开始学习resnet50网络模型，应该也会有resnet18，估计18的模型速度会更快一些。

hellozmz
2024-07-26 19:53:18

 507

 6

#学习 #分类 #数据挖掘
昇思25天学习打卡营第19天|基于MobileNetv2的垃圾分类函数

MobileNet网络是由Google团队于2017年提出的专注于移动端、嵌入式或IoT设备的轻量级CNN网络，相比于传统的卷积神经网络，MobileNet网络使用深度可分离卷积（Depthwise Separable Convolution）的思想在准确率小幅度降低的前提下，大大减小了模型参数与运算量。图中Inverted residual block结构是先使用1x1卷积进行升维，然后使用3x

ronlym
2024-07-31 16:25:50

 282

 9

#学习 #分类 #数据挖掘
昇思训练营—模型开发与适配

场景适配硬件与资源适配

 lugang139
2025-08-04 19:27:07

 245

 3

#数据挖掘
昇思打卡第十四天（ShuffleNet图像分类）

ShuffleNetV1是旷视科技提出的一种计算高效的CNN模型，和MobileNet, SqueezeNet等一样主要应用在移动端，所以模型的设计目标就是利用有限的计算资源来达到最好的模型精度。ShuffleNetV1的设计核心是引入了两种操作：Pointwise Group Convolution和Channel Shuffle，这在保持精度的同时大大降低了模型的计算量。因此，ShuffleN

qhcl246810
2024-07-03 00:43:02

 310

 4

#分类 #数据挖掘 #人工智能
基于MindSpore通过GPT实现情感分类

【代码】基于MindSpore通过GPT实现情感分类。

梦醒三叹
2024-08-01 20:56:23

 520

 5

#分类 #数据挖掘
昇思训练营day11学习心得-ShuffleNet图像分类

ShuffleNetV1和MobileNet类似，都是通过设计更高效的网络结构来实现模型的压缩和加速。每一组的卷积核大小为in_channels/g*k*k，总参数量为(in_channels/g*k*k)*out_channels，是正常卷积参数的1/g。引入Channel Shuffle机制（通道重排），将不同分组通道均匀分散重组，使网络在下一层能处理不同组别通道的信息。2.堆叠多个 Shuf

沐礼607
2024-07-16 12:46:57

 253

 3

#分类 #数据挖掘 #人工智能
昇思25天学习打卡营第12天|基于ResNet50的图片分类任务

首先下载数据集,本次数据集一共有50000张训练图片和10000张评估图片,这里使用官方提供的`mindspore.dataset.Cifar10Dataset`接口来加载数据集，并进行相关图像增强操作。来减轻退化问题，使用ResNet网络可以实现搭建较深的网络结构（突破1000层）ResNet网络层数越深，其训练误差和测试误差越小。我调整了训练轮数.30轮的训练之下,准确率有提升,Accurac

distance130
2024-07-05 14:59:43

 353

 2

#学习 #分类 #数据挖掘
昇腾 AI 全栈开发实战指南：从代码到场景的深度解析

## （三）昇腾计算语言接口AscendCL AscendCL是昇腾AI的原生编程接口，基于C语言封装，提供了**设备管理、内存管理、模型推理**等核心功能。### （一）模型迁移的双重优势将TensorFlow模型迁移到昇腾AI硬件，一方面能**利用昇腾的高性能算力**，提升模型推理与训练速度；对于进阶学习，建议开发者深入研究**自定义算子开发**（基于Ascend C）、**大模型适配**（

雨季666
2025-11-18 23:13:27

 693

 9

#opencv #数据挖掘 #语音识别
昇思25天打卡训练营第14天|ShuffleNet图像分类

Group Convolution（分组卷积）原理如下图所示，相比于普通的卷积操作，分组卷积的情况下，每一组的卷积核大小为in_channels/g*k*k，一共有g组，所有组共有(in_channels/g*k*k)*out_channels个参数，是正常卷积参数的1/g。Group Convolution的弊端在于不同组别的通道无法进行信息交流，堆积GConv层后一个问题是不同组之间的特征图是

 littlewood11
2024-07-26 21:25:31

 493

 5

#分类 #数据挖掘 #人工智能
《昇思25天学习打卡营第20天|基于MobileNetv2的垃圾分类》

MobileNet网络是由Google团队于2017年提出的专注于移动端、嵌入式或IoT设备的轻量级CNN网络，相比于传统的卷积神经网络，MobileNet网络使用深度可分离卷积（Depthwise Separable Convolution）的思想在准确率小幅度降低的前提下，大大减小了模型参数与运算量。并引入宽度系数 α和分辨率系数 β使模型满足不同应用场景的需求。

暴力咯
2024-07-15 18:19:50

 617

 17

#学习 #分类 #数据挖掘
昇思25天学习打卡营第14天|Shufflenet图像分类

ShuffleNetV1是旷视科技提出的一种计算高效的CNN模型，和MobileNet, SqueezeNet等一样主要应用在移动端，所以模型的设计目标就是利用有限的计算资源来达到最好的模型精度。ShuffleNetV1的设计核心是引入了两种操作：Pointwise Group Convolution和Channel Shuffle，这在保持精度的同时大大降低了模型的计算量。因此，ShuffleN

XueFarah
2024-07-31 14:17:58

 454

 3

#学习 #分类 #数据挖掘
昇思训练营day10学习心得-ResNet50图像分类

定义visualize_model函数，使用训练好的模型对数据集进行预测，并将预测结果可视化。2.

沐礼607
2024-07-16 03:09:22

 268

 8

#分类 #数据挖掘 #人工智能
昇思25天打卡营-mindspore-ML- Day16-基于MobileNetv2的垃圾分类

MobileNetV2 是一种。

littlesujin
2024-07-05 08:38:37

 419

 5

#分类 #数据挖掘 #人工智能
昇思训练营打卡第十三天（ResNet50图像分类）

在ResNet网络提出之前，传统的卷积神经网络都是将一系列的卷积层和池化层堆叠得到的，但当网络堆叠到一定深度时，就会出现退化问题。ResNet网络提出了残差网络结构(Residual Network)来减轻退化问题，使用ResNet网络可以实现搭建较深的网络结构（突破1000层）。

qhcl246810
2024-07-02 01:12:42

 367

 9

#分类 #数据挖掘 #人工智能
昇思25天学习打卡营第13天|ResNet50图像分类

ResNet50网络是2015年由微软实验室的何恺明提出，获得ILSVRC2015图像分类竞赛第一名。在ResNet网络提出之前，传统的卷积神经网络都是将一系列的卷积层和池化层堆叠得到的，但当网络堆叠到一定深度时，就会出现退化问题。下图是在CIFAR-10数据集上使用56层网络与20层网络训练误差和测试误差图，由图中数据可以看出，56层网络比20层网络训练误差和测试误差更大，随着网络的加深，其误差

 XueFarah
2024-07-31 14:15:23

 336

 1

#学习 #分类 #数据挖掘
昇思25天打卡训练营第13天|ResNet50图像分类

若输出的图像较输入图像缩小一倍，则要设置shortcuts中卷积操作中的stride为2，主分支第一层卷积操作的stride也需设置为2。该结构的主分支有三层卷积结构，分别为 1×1的卷积层、 3×3卷积层和 1×1的卷积层，其中 1×1的卷积层分别起降维和升维的作用。该层堆叠3个[1×1，512；主分支第一层网络以输入channel为256为例，首先通过数量为64，大小为 1×1的卷积核进行降维

 littlewood11
2024-07-26 06:37:02

 621

 21

#分类 #数据挖掘 #人工智能
昇思25天学习打卡营第19天|基于MobileNetv2的垃圾分类

MobileNet网络是由Google团队于2017年提出的专注于移动端、嵌入式或IoT设备的轻量级CNN网络，相比于传统的卷积神经网络，MobileNet网络使用深度可分离卷积（Depthwise Separable Convolution）的思想在准确率小幅度降低的前提下，大大减小了模型参数与运算量。并引入宽度系数 α和分辨率系数 β使模型满足不同应用场景的需求。

XueFarah
2024-07-31 14:26:05

 326

 5

#学习 #分类 #数据挖掘
昇思25天打卡营-mindspore-ML- Day12-ShuffleNet图像分类

ShuffleNet是一种轻量级深度学习模型，专门为移动端和嵌入式设备设计，旨在在有限的计算资源下实现高精度的图像分类任务。它通过引入和两种操作，有效地降低了模型的计算量和参数量，同时保持了较高的准确率。ShuffleNet 的核心优势轻量化： ShuffleNet 通过分组卷积和通道重排技术，大幅减少了模型的参数量和计算量，使其更适合在移动端和嵌入式设备上运行。高效性：尽管模型轻量化，但 Sh

littlesujin
2024-07-01 08:59:43

 925

 15

#分类 #数据挖掘 #人工智能
基于Xception模型的植物叶子识别系统

本文提出了一种基于Xception模型的植物叶片识别方法，通过深度学习技术实现自动化分类。研究使用MindSpore框架（2.5.0版）构建系统，设置64x64像素图像尺寸和64的批量大小。数据集经GitLFS下载后，采用随机裁剪、水平翻转等数据增强技术提升模型泛化能力。Xception模型利用深度可分离卷积优化计算效率，包含EntryFlow、MiddleFlow和ExitFlow三个模块化组件

 昇思MindSpore
2025-08-01 15:20:43

 898

 9

#python #开发语言 #数据挖掘 +1
携手昇思，中科大刘海燕团队、元构生物共同研发蛋白质结构预测与设计模型

在对表现出不同类型动态变化的蛋白质进行预测时，PVQD与实验结构展示了几乎相同的高变区域【图 3】，显示出其广泛适用于天然蛋白质的构象动力学研究，为揭示蛋白质动态构象变化提供新的研究工具，有望在药物靶点发现领域发挥重要作用。扩散模型通过学习蛋白质主链结构在向量化、离散化隐空间表示下的分布，可以在语义级别上学习到物理上合理结构的分布特性，且模型架构相较于三维结构的扩散模型更为简单，不受对空间平移旋转

 昇思MindSpore
2023-12-01 16:37:23

 1517

 8

#数据挖掘 #开源 #计算机视觉
昇思25天学习打卡营第22天 | Shufflenet图像分类

ShuffleNetV1是旷视科技提出的一种计算高效的CNN模型，和MobileNet, SqueezeNet等一样主要应用在移动端，所以模型的设计目标就是利用有限的计算资源来达到最好的模型精度。ShuffleNetV1的设计核心是引入了两种操作：Pointwise Group Convolution和Channel Shuffle，这在保持精度的同时大大降低了模型的计算量。因此，ShuffleN

cftang9999
2024-07-09 19:38:00

 862

 18

#分类 #数据挖掘 #人工智能
ShuffleNet V2 实现灾害识别系统综述

本文介绍了一个基于ShuffleNetV2的轻量级自然灾害识别系统。该项目使用MindSpore2.5.0框架，通过环境配置、数据增强、模型构建等步骤，实现了对洪水、火灾、地震等灾害图像的高效分类。系统采用分组卷积和通道混洗机制降低计算复杂度，最后通过全局平均池化输出结果。实验表明该方法在移动设备上具有良好的应用前景。文章详细阐述了从数据处理到模型优化的完整流程，并讨论了存在的挑战和未来改进方向，

昇思MindSpore
2025-08-01 15:26:44

 696

 24

#python #数据挖掘 #深度学习
昇思25天学习打卡营第13天|ResNet50图像分类

ResNet50网络是2015年由微软实验室的何恺明提出，获得ILSVRC2015图像分类竞赛第一名。在ResNet网络提出之前，传统的卷积神经网络都是将一系列的卷积层和池化层堆叠得到的，但当网络堆叠到一定深度时，就会出现退化问题。下图是在CIFAR-10数据集上使用56层网络与20层网络训练误差和测试误差图，由图中数据可以看出，56层网络比20层网络训练误差和测试误差更大，随着网络的加深，其误差

 ronlym
2024-07-31 15:16:00

 648

 18

#学习 #分类 #数据挖掘
昇思25天学习打卡营第12天|使用ResNet50图像分类学习 - 构建残差网络结构

ResNet50网络是2015年由微软实验室的何恺明提出，获得ILSVRC2015图像分类竞赛第一名。在ResNet网络提出之前，传统的卷积神经网络都是将一系列的卷积层和池化层堆叠得到的，但当网络堆叠到一定深度时，就会出现退化问题。下图是在CIFAR-10数据集上使用56层网络与20层网络训练误差和测试误差图，由图中数据可以看出，56层网络比20层网络训练误差和测试误差更大，随着网络的加深，其误差

 m0_68635815
2024-07-06 23:24:48

 1097

 13

#学习 #分类 #数据挖掘
昇思25天学习打卡营第24天 | ResNet50图像分类

ResNet50网络是2015年由微软实验室的何恺明提出，获得ILSVRC2015图像分类竞赛第一名。在ResNet网络提出之前，传统的卷积神经网络都是将一系列的卷积层和池化层堆叠得到的，但当网络堆叠到一定深度时，就会出现退化问题。下图是在CIFAR-10数据集上使用56层网络与20层网络训练误差和测试误差图，由图中数据可以看出，56层网络比20层网络训练误差和测试误差更大，随着网络的加深，其误差

 cftang9999
2024-07-12 09:35:06

 835

 8

#学习 #分类 #数据挖掘
昇思25天学习打卡营第17天|基于MobileNetv2的垃圾分类

本实验详细介绍了如何利用MobileNetv2实现垃圾分类，包括模型构建、训练、测试和推理的全过程。通过对Wine数据集的深入分析与处理，验证了KNN算法的有效性，为垃圾分类领域的后续研究提供了坚实基础和丰富经验。

Xavier_F
2024-07-22 21:45:04

 1074

 25

#学习 #分类 #数据挖掘
昇思25天学习打卡营第16天|VisionTransformer图像分类

近些年，随着基于自注意（Self-Attention）结构的模型的发展，特别是Transformer模型的提出，极大地促进了自然语言处理模型的发展。由于Transformers的计算效率和可扩展性，它已经能够训练具有超过100B参数的空前规模的模型。ViT则是自然语言处理和计算机视觉两个领域的融合结晶。在不依赖卷积操作的情况下，依然可以在图像分类任务上达到很好的效果。

ronlym
2024-07-31 15:23:52

 764

 13

#学习 #分类 #数据挖掘
昇思25天学习打卡营第22天 | Shufflenet图像分类

ShuffleNetV1是旷视科技提出的一种计算高效的CNN模型，和MobileNet, SqueezeNet等一样主要应用在移动端，所以模型的设计目标就是利用有限的计算资源来达到最好的模型精度。ShuffleNetV1的设计核心是引入了两种操作：Pointwise Group Convolution和Channel Shuffle，这在保持精度的同时大大降低了模型的计算量。因此，ShuffleN

cftang9999
2024-07-09 19:39:59

 1128

 18

#学习 #分类 #数据挖掘
昇思第18天打卡|ShuffleNet图像分类

ShuffleNetV1是旷视科技提出的一种计算高效的CNN模型，和MobileNet, SqueezeNet等一样主要应用在移动端，所以模型的设计目标就是利用有限的计算资源来达到最好的模型精度。ShuffleNetV1的设计核心是引入了两种操作：Pointwise Group Convolution和Channel Shuffle，这在保持精度的同时大大降低了模型的计算量。因此，ShuffleN

十八岁少年
2024-07-07 00:12:41

 1014

 26

#分类 #数据挖掘 #人工智能
【全网首发】手把手教您从0到1使用Mindspore框架实现鸢尾花分类

在MindSpore中，"nn.Cell" 是所有神经网络的基类，类似于PyTorch中的 "nn.Module"。用户定义的模型需要继承这个类，并实现"construct"方法来定义前向传播过程。在PyTorch中的"forward"方法，Mindspore框架中需要实现"construct"方法。首先定义模型IrisNet类，根据之前分析得出的模型，定义一个三层全连接神经网络，用于鸢尾花分类任

 Q_Express
2025-04-03 18:25:13

 1159

 31

#分类 #数据挖掘 #人工智能
昇思25天学习打卡营第3天 | ShuffleNet图像分类

本次教程是基于轻量化模型来训练一个图像识别深度学习模型，shufflent模型作为轻量化模型的代表，其他的轻量化模型也可以考虑mobilenet，ghostnet等，如果考虑模型性能，也可以使用一个resnet50模型结合量化技术来获得一个精度和推理性能相对较好的图像分类模型。

heyilunv
2024-07-06 07:57:52

 715

 13

#学习 #分类 #数据挖掘
昇思25天学习打卡营第二十三天|ResNet50图像分类

ResNet50网络是2015年由微软实验室的何恺明提出，获得ILSVRC2015图像分类竞赛第一名。在ResNet网络提出之前，传统的卷积神经网络都是将一系列的卷积层和池化层堆叠得到的，但当网络堆叠到一定深度时，就会出现退化问题。下图是在CIFAR-10数据集上使用56层网络与20层网络训练误差和测试误差图，由图中数据可以看出，56层网络比20层网络训练误差和测试误差更大，随着网络的加深，其误差

 liping406
2024-07-16 08:37:29

 962

 24

#学习 #分类 #数据挖掘
昇思25天学习打卡营第12天|使用ResNet50图像分类学习(可视化模型预测)

ResNet50网络是2015年由微软实验室的何恺明提出，获得ILSVRC2015图像分类竞赛第一名。在ResNet网络提出之前，传统的卷积神经网络都是将一系列的卷积层和池化层堆叠得到的，但当网络堆叠到一定深度时，就会出现退化问题。下图是在CIFAR-10数据集上使用56层网络与20层网络训练误差和测试误差图，由图中数据可以看出，56层网络比20层网络训练误差和测试误差更大，随着网络的加深，其误差

 2301_77888392
2024-07-06 23:40:53

 890

 21

#学习 #分类 #数据挖掘
昇思25天学习打卡营第16天|基于Mindspore的红酒分类实验

KNN算法的实现依赖于样本之间的距离计算。dxy∑i1nxi−yi2dxyi1∑nxi−yi2在使用欧氏距离时，特征向量的归一化是必要的，以避免特征尺度不同导致的影响。

Xavier_F
2024-07-22 21:35:12

 1889

 53

#学习 #分类 #数据挖掘
昇思25天学习打卡营第14天|Shufflenet图像分类

ShuffleNetV1是旷视科技提出的一种计算高效的CNN模型，和MobileNet, SqueezeNet等一样主要应用在移动端，所以模型的设计目标就是利用有限的计算资源来达到最好的模型精度。ShuffleNetV1的设计核心是引入了两种操作：Pointwise Group Convolution和Channel Shuffle，这在保持精度的同时大大降低了模型的计算量。因此，ShuffleN

ronlym
2024-07-31 15:18:47

 1091

 18

#学习 #分类 #数据挖掘
昇思25天学习打卡营第14天|ShuffleNet图像分类

今天学习了ShuffleNet图像分类的相关知识。通过课程，我认识到ShuffleNet 是一种专门为移动设备和嵌入式设备设计的轻量级神经网络架构，使用了通道重排和分组卷积等技术它在保持较高分类精度的同时，显著减少了模型的计算和参数量。作为一种轻量级网络，它的精确度较低。在需要更高精度或者处理更复杂任务的场景下，可能需要考虑更复杂的模型。

江宁府永定
2024-07-13 17:30:44

 723

 18

#学习 #分类 #数据挖掘