[IT新闻资讯] ModelArts部署紫东太初大模型推理服务经验分享

[复制链接]
作者
n2n1   发布于2022-9-29 23:45:46 来自河北
  • 零、项目背景
    • 需要在ModelArts上部署微调后的下游任务推理服务。
  • 主要踩坑点:
  • 一、环境准备
  • MindSpore 1.6.1
  • Docker 20.10.17
  • ckpt权重文件
  • ModelArts账号
  • 二、模型转换
  • 1.参照测试代码初始化模型并加载ckpt
  • 2.使用MindSpore.export(net, *inputs, filename="***", file_format="MINDIR")导出MINDIR模型
    模型格式:当前版本AIR和ONNX均有单网络2G的模型大小限制,目前采用MINDIR进行在线推理。(MINDIR对于超过2G的模型会自动进行切分)
  • 三、编写推理服务代码
  • 模型推理部分代码 代码参考同上,需要注意在初始化的时候异步加载模型,避免ModelArts拉起服务时模型加载超时导致异常退出。
  • 四、制作推理服务镜像
    • 参考同上
  • 五、ModelArts镜像上传部署
    • 步骤参考ModelArts文档,需要注意需在日志报Warm Up Success后才可正常使用服务,否则有可能超时或服务异常退出。


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 创建账号

本版积分规则

Archiver|小黑屋|( 冀ICP备2021005463号 )

GMT+8, 2022-12-10 16:41 , Processed in 0.131766 second(s), 28 queries , Gzip On.

N2N1 It社区 n2n1.cn

Copyright © 2001-2021,MeiCheng.

快速回复 返回顶部 返回列表