1. TensorFlow/Keras: 在TensorFlow和Keras中,可以使用model.save()函数将整个模型保存为一个HDF5文件,这个文件将包含模型的权重、架构和训练配置。例如:
model.save('my_model.h5')

model.save_weights('my_model_weights.h5')
  1. PyTorch: 在PyTorch中,模型的保存通常分为两个步骤:保存模型的参数(权重)和模型的架构。使用torch.save()函数可以保存模型的state_dict(参数)或者整个模型。例如:

torch.save(model.state_dict(), 'model_weights.pth')

torch.save(model, 'entire_model.pth')
  1. scikit-learn: 对于scikit-learn模型,可以使用Python的pickle模块来保存模型。例如:

import pickle
with open('model.pkl', 'wb') as file:
    pickle.dump(model, file)

在保存模型时,应该确保保存的信息足够完整,以便在未来的某个时刻可以准确地恢复模型,包括进行预测或继续训练。通常,还应该保存训练模型的代码、版本号、训练数据的信息以及任何相关的预处理步骤,以确保可重复性和透明度。

保存和加载模型权重

保存模型使用`save_checkpoint`接口,传入网络和指定的保存路径:

model = network()
mindspore.save_checkpoint(model, "model.ckpt")

要加载模型权重,需要先创建相同模型的实例,然后使用load_checkpointload_param_into_net方法加载参数。

model = network()
param_dict = mindspore.load_checkpoint("model.ckpt")
param_not_load, _ = mindspore.load_param_into_net(model, param_dict)
print(param_not_load)

保存和加载MindIR

除Checkpoint外,MindSpore提供了云侧(训练)和端侧(推理)统一的中间表示(Intermediate Representation,IR)。可使用export接口直接将模型保存为MindIR。

model = network()
inputs = Tensor(np.ones([1, 1, 28, 28]).astype(np.float32))
mindspore.export(model, inputs, file_name="model", file_format="MINDIR")

MindIR同时保存了Checkpoint和模型结构,因此需要定义输入Tensor来获取输入shape

最终效果

import numpy as np
import mindspore
from mindspore import nn
from mindspore import Tensor
def network():
    model = nn.SequentialCell(
                nn.Flatten(),
                nn.Dense(28*28, 512),
                nn.ReLU(),
                nn.Dense(512, 512),
                nn.ReLU(),
                nn.Dense(512, 10))
    return model
model = network()
mindspore.save_checkpoint(model, "model.ckpt")
model = network()
param_dict = mindspore.load_checkpoint("model.ckpt")
param_not_load, _ = mindspore.load_param_into_net(model, param_dict)
print(param_not_load)
model = network()
inputs = Tensor(np.ones([1, 1, 28, 28]).astype(np.float32))
mindspore.export(model, inputs, file_name="model", file_format="MINDIR")
mindspore.set_context(mode=mindspore.GRAPH_MODE)

graph = mindspore.load("model.mindir")
model = nn.GraphCell(graph)
outputs = model(inputs)
print(outputs.shape)

Logo

鲲鹏昇腾开发者社区是面向全社会开放的“联接全球计算开发者,聚合华为+生态”的社区,内容涵盖鲲鹏、昇腾资源,帮助开发者快速获取所需的知识、经验、软件、工具、算力,支撑开发者易学、好用、成功,成为核心开发者。

更多推荐