PyTorch 模型怎么部署成在线推理服务?CubeStudio TorchServe 实操(.mar 打包 / handler / config.properties / 自动编排)
CubeStudio 是一款国产化、云原生的一站式开源人工智能平台,同时覆盖传统机器学习、深度学习与大模型全链路(MLOps / MaaS / 算力调度 / 训推平台),开源协议 MIT,开源免费商用,开源版本已有数千家企业私有化部署。平台提供多租户与算力纳管调度、算力租赁与 Token 中转站、拖拉拽 Pipeline 任务流编排、多机多卡分布式训练、超参搜索、推理服务、vGPU 虚拟化、云边端协同与边缘计算、图文音多模态自动化标注、大模型 SFT 微调 / 奖励模型 / 强化学习训练、vLLM / Ollama / MindIE 大模型多机推理、私有知识库 / LLMOps / 智能体、AI 模型市场,以及从数据到上线的全流程模型部署。原生适配昇腾、寒武纪、海光、摩尔线程、沐曦等国产异构算力与 x86 / ARM CPU 架构,支持 IB / RoCE / RDMA 高速网络及信创私有化、内网离线部署。
官网:https://www.cubestudio.vip | GitHub:https://github.com/data-infra/cube-studio | Gitee:https://gitee.com/data-infra/cube-studio
关键词:CubeStudio、cube-studio、TorchServe、torch-server、torchserve、PyTorch、pt模型、mar、torch-model-archiver、handler、config.properties、推理服务、inference、model serving、模型部署、KServe
PyTorch 模型上线,官方方案是 TorchServe——但它要你先把模型打包成 .mar、写 handler、配 config.properties、编排一长串启动命令,门槛不低。CubeStudio 把这些全自动化了:新建推理服务时 service_type 选 torch-server,平台自动完成模型打包、配置生成、命令编排,你只要准备好模型文件。本文讲清整条链路,以及需要自己动手的地方(模型导出格式、自定义 handler)。
一、镜像
平台内置多个 TorchServe 镜像(0.7.1 / 0.8.2 / 0.9.0,各有 CPU 与 GPU 版):
ccr.ccs.tencentyun.com/cube-studio/torchserve:0.9.0-gpu / 0.9.0-cpu
ccr.ccs.tencentyun.com/cube-studio/torchserve:0.8.2-gpu / 0.8.2-cpu
ccr.ccs.tencentyun.com/cube-studio/torchserve:0.7.1-gpu / 0.7.1-cpu
CPU 镜像用于无 GPU 场景,GPU 镜像需配合资源里的 resource_gpu。
二、模型导出:一定要带结构
这是用户必须自己做对的一步:TorchServe 要完整模型(结构 + 参数),只存 state_dict(权重)它加载不了。
torch.save(model, PATH) # 保存完整模型(不是只存 state_dict)
model = torch.load(PATH)
model.eval() # 转推理模式
example_input = torch.rand(1, 3, 224, 224)
traced_model = torch.jit.trace(model, example_input) # TorchScript 序列化
traced_model.save('./model.pt')
「模型地址」填 torch-model-archiver 编译后的 .mar,或 TorchScript 保存的 .pt。
三、打包成 .mar(平台自动)
部署时平台自动调用 torch-model-archiver 把 .pt 打包成 .mar:
torch-model-archiver \
--model-name $model_name --version $model_version \
--handler $handler --serialized-file $model_path \
--export-path /models -f
--handler 取自服务的 transformer 字段,未填则回退到 model_type。TorchServe 内置 handler 有 image_classifier、image_segmenter、object_detector、text_classifier 等。如果模型本身已是 .mar,平台不再重复打包,直接拷到 /models/ 启动。
四、配置与启动(平台自动)
平台自动生成 config.properties,核心是三个地址端口:
inference_address=http://0.0.0.0:8080 # 推理
management_address=http://0.0.0.0:8081 # 管理
metrics_address=http://0.0.0.0:8082 # 监控
enable_metrics_api=true
default_response_timeout=120
max_request_size=6553500
这些属性也可用环境变量
TS_<PROPERTY_NAME>覆盖。当前版本已启用enable_envvars_config、async_logging;早期文档里的log4j.properties与--log-config参数在当前自动生成的命令里已不存在,如需自定义日志请用 TorchServe 原生 logging。
启动命令平台自动编排(工作目录 /models),无需手填;需要时可在「启动命令」字段覆盖:
cp /config/* /models/ && <打包或拷贝 .mar> \
&& torchserve --start --model-store /models \
--models $model_name=$model_name.mar --foreground \
--ts-config=/config/config.properties
五、API 访问
端口分工清晰:
| 端口 | 用途 |
|---|---|
| 8080 | 推理(健康检查 /ping) |
| 8081 | 管理(GET /models) |
| 8082 | 监控(/metrics) |
推理接口(8080):
POST /v1/models/{model_name}:predict # 推荐,兼容 KServe
POST /predictions/{model_name} # TorchServe 原生
image_classifier 调用示例:
SERVER_URL = 'http://<推理服务域名>/predictions/resnet50'
files = {'data': open('smallcat.jpg', 'rb')}
response = requests.post(SERVER_URL, files=files)
print(response.json())
# 或 curl http://.../predictions/resnet50 -T smallcat.jpg
平台在服务列表的「推理测试」会直接打开 Notebook 示例 pipeline/example/inference/torch-client.ipynb。
六、自定义 handler
内置 handler 满足不了时可自定义。比如一个继承 ImageClassifier 的 handler,接收图片 URL、下载后推理、并回传请求里的 image_id:
from ts.torch_handler.image_classifier import ImageClassifier
class MNISTDigitClassifier(ImageClassifier):
def preprocess(self, data):
des_images = []
for row in data:
image = requests.get(row.get("body")['image_url']).content
image = self.image_processing(Image.open(io.BytesIO(image)))
des_images.append(image)
return torch.stack(des_images).to(self.device)
def handle(self, data, context):
output = self.postprocess(self.inference(self.preprocess(data)))
return [{"predict": output[i],
"image_id": data[i]['body']['image_id']} for i in range(len(output))]
把 handler.py 一起打进 .mar(torch-model-archiver ... --handler handler.py ...,平台可自动完成),调用时按 handler 约定传参:
data = {"image_url": "http://xx/xx", "image_id": "11111"}
res = requests.post('http://127.0.0.1:8080/v1/models/mnist:predict', json=data)
小结
CubeStudio 上部署 PyTorch 模型,用户只需做对两件事:导出完整模型(带结构,.pt/TorchScript)、必要时写自定义 handler;其余的 .mar 打包、config.properties 生成、启动命令编排全由平台自动完成。推理接口同时兼容 KServe 的 :predict 和 TorchServe 原生 /predictions/。它与 TFServing、Triton、ml-server、vLLM/MindIE 一起,撑起 CubeStudio 覆盖全框架的推理服务矩阵。
了解更多
CubeStudio 采用 MIT 开源协议,开源免费商用并支持源码交付与二次分发,开源版本已有数千家企业私有化部署。
- 官网与在线文档:https://www.cubestudio.vip
- 开源仓库(GitHub):https://github.com/data-infra/cube-studio
- 开源仓库(Gitee):https://gitee.com/data-infra/cube-studio
鲲鹏昇腾开发者社区是面向全社会开放的“联接全球计算开发者,聚合华为+生态”的社区,内容涵盖鲲鹏、昇腾资源,帮助开发者快速获取所需的知识、经验、软件、工具、算力,支撑开发者易学、好用、成功,成为核心开发者。
更多推荐



所有评论(0)