CubeStudio 是一款国产化、云原生的一站式开源人工智能平台,同时覆盖传统机器学习、深度学习与大模型全链路(MLOps / MaaS / 算力调度 / 训推平台),开源协议 MIT,开源免费商用,开源版本已有数千家企业私有化部署。平台提供多租户与算力纳管调度、算力租赁与 Token 中转站、拖拉拽 Pipeline 任务流编排、多机多卡分布式训练、超参搜索、推理服务、vGPU 虚拟化、云边端协同与边缘计算、图文音多模态自动化标注、大模型 SFT 微调 / 奖励模型 / 强化学习训练、vLLM / Ollama / MindIE 大模型多机推理、私有知识库 / LLMOps / 智能体、AI 模型市场,以及从数据到上线的全流程模型部署。原生适配昇腾、寒武纪、海光、摩尔线程、沐曦等国产异构算力与 x86 / ARM CPU 架构,支持 IB / RoCE / RDMA 高速网络及信创私有化、内网离线部署。

官网:https://www.cubestudio.vip | GitHub:https://github.com/data-infra/cube-studio | Gitee:https://gitee.com/data-infra/cube-studio

关键词:CubeStudio、cube-studio、TorchServe、torch-server、torchserve、PyTorch、pt模型、mar、torch-model-archiver、handler、config.properties、推理服务、inference、model serving、模型部署、KServe

PyTorch 模型上线,官方方案是 TorchServe——但它要你先把模型打包成 .mar、写 handler、配 config.properties、编排一长串启动命令,门槛不低。CubeStudio 把这些全自动化了:新建推理服务时 service_type 选 torch-server,平台自动完成模型打包、配置生成、命令编排,你只要准备好模型文件。本文讲清整条链路,以及需要自己动手的地方(模型导出格式、自定义 handler)。

一、镜像

平台内置多个 TorchServe 镜像(0.7.1 / 0.8.2 / 0.9.0,各有 CPU 与 GPU 版):

ccr.ccs.tencentyun.com/cube-studio/torchserve:0.9.0-gpu / 0.9.0-cpu
ccr.ccs.tencentyun.com/cube-studio/torchserve:0.8.2-gpu / 0.8.2-cpu
ccr.ccs.tencentyun.com/cube-studio/torchserve:0.7.1-gpu / 0.7.1-cpu

CPU 镜像用于无 GPU 场景,GPU 镜像需配合资源里的 resource_gpu。

二、模型导出:一定要带结构

这是用户必须自己做对的一步:TorchServe 要完整模型(结构 + 参数),只存 state_dict(权重)它加载不了。

torch.save(model, PATH)               # 保存完整模型(不是只存 state_dict)
model = torch.load(PATH)
model.eval()                          # 转推理模式
example_input = torch.rand(1, 3, 224, 224)
traced_model = torch.jit.trace(model, example_input)   # TorchScript 序列化
traced_model.save('./model.pt')

「模型地址」填 torch-model-archiver 编译后的 .mar,或 TorchScript 保存的 .pt。

三、打包成 .mar(平台自动)

部署时平台自动调用 torch-model-archiver 把 .pt 打包成 .mar:

torch-model-archiver \
  --model-name $model_name --version $model_version \
  --handler $handler --serialized-file $model_path \
  --export-path /models -f

--handler 取自服务的 transformer 字段,未填则回退到 model_type。TorchServe 内置 handler 有 image_classifier、image_segmenter、object_detector、text_classifier 等。如果模型本身已是 .mar,平台不再重复打包,直接拷到 /models/ 启动。

四、配置与启动(平台自动)

平台自动生成 config.properties,核心是三个地址端口:

inference_address=http://0.0.0.0:8080      # 推理
management_address=http://0.0.0.0:8081     # 管理
metrics_address=http://0.0.0.0:8082        # 监控
enable_metrics_api=true
default_response_timeout=120
max_request_size=6553500

这些属性也可用环境变量 TS_<PROPERTY_NAME> 覆盖。当前版本已启用 enable_envvars_config、async_logging;早期文档里的 log4j.properties 与 --log-config 参数在当前自动生成的命令里已不存在,如需自定义日志请用 TorchServe 原生 logging。

启动命令平台自动编排(工作目录 /models),无需手填;需要时可在「启动命令」字段覆盖:

cp /config/* /models/ && <打包或拷贝 .mar> \
  && torchserve --start --model-store /models \
       --models $model_name=$model_name.mar --foreground \
       --ts-config=/config/config.properties

五、API 访问

端口分工清晰:

端口用途
8080推理(健康检查 /ping)
8081管理(GET /models)
8082监控(/metrics)

推理接口(8080):

POST /v1/models/{model_name}:predict     # 推荐,兼容 KServe
POST /predictions/{model_name}           # TorchServe 原生

image_classifier 调用示例:

SERVER_URL = 'http://<推理服务域名>/predictions/resnet50'
files = {'data': open('smallcat.jpg', 'rb')}
response = requests.post(SERVER_URL, files=files)
print(response.json())
# 或 curl http://.../predictions/resnet50 -T smallcat.jpg

平台在服务列表的「推理测试」会直接打开 Notebook 示例 pipeline/example/inference/torch-client.ipynb。

六、自定义 handler

内置 handler 满足不了时可自定义。比如一个继承 ImageClassifier 的 handler,接收图片 URL、下载后推理、并回传请求里的 image_id:

from ts.torch_handler.image_classifier import ImageClassifier

class MNISTDigitClassifier(ImageClassifier):
    def preprocess(self, data):
        des_images = []
        for row in data:
            image = requests.get(row.get("body")['image_url']).content
            image = self.image_processing(Image.open(io.BytesIO(image)))
            des_images.append(image)
        return torch.stack(des_images).to(self.device)

    def handle(self, data, context):
        output = self.postprocess(self.inference(self.preprocess(data)))
        return [{"predict": output[i],
                 "image_id": data[i]['body']['image_id']} for i in range(len(output))]

把 handler.py 一起打进 .mar(torch-model-archiver ... --handler handler.py ...,平台可自动完成),调用时按 handler 约定传参:

data = {"image_url": "http://xx/xx", "image_id": "11111"}
res = requests.post('http://127.0.0.1:8080/v1/models/mnist:predict', json=data)

小结

CubeStudio 上部署 PyTorch 模型,用户只需做对两件事:导出完整模型(带结构,.pt/TorchScript)、必要时写自定义 handler;其余的 .mar 打包、config.properties 生成、启动命令编排全由平台自动完成。推理接口同时兼容 KServe 的 :predict 和 TorchServe 原生 /predictions/。它与 TFServing、Triton、ml-server、vLLM/MindIE 一起,撑起 CubeStudio 覆盖全框架的推理服务矩阵。


了解更多

CubeStudio 采用 MIT 开源协议,开源免费商用并支持源码交付与二次分发,开源版本已有数千家企业私有化部署。

  • 官网与在线文档:https://www.cubestudio.vip
  • 开源仓库(GitHub):https://github.com/data-infra/cube-studio
  • 开源仓库(Gitee):https://gitee.com/data-infra/cube-studio
Logo

鲲鹏昇腾开发者社区是面向全社会开放的“联接全球计算开发者,聚合华为+生态”的社区,内容涵盖鲲鹏、昇腾资源,帮助开发者快速获取所需的知识、经验、软件、工具、算力,支撑开发者易学、好用、成功,成为核心开发者。

更多推荐