ModelArts部署紫东太初大模型推理服务经验分享
[*]零、项目背景
[*]需要在ModelArts上部署微调后的下游任务推理服务。
[*]主要踩坑点：
[*]一、环境准备
[*]MindSpore 1.6.1
[*]Docker 20.10.17
[*]紫东太初模型代码 https://gitee.com/mindspore/omni-perception-pretrainer
[*]ckpt权重文件
[*]ModelArts账号
[*]二、模型转换
[*]1.参照测试代码初始化模型并加载ckpt
[*]2.使用MindSpore.export(net, *inputs, filename="***", file_format="MINDIR")导出MINDIR模型模型格式：当前版本AIR和ONNX均有单网络2G的模型大小限制，目前采用MINDIR进行在线推理。（MINDIR对于超过2G的模型会自动进行切分）
[*]三、编写推理服务代码
[*]使用Flask部署服务，代码参考 https://gitee.com/HUAWEI-ASCEND/mindxsdk-mxfoundationmodel/tree/master/fm/reference/deploy
[*]模型推理部分代码 代码参考同上，需要注意在初始化的时候异步加载模型，避免ModelArts拉起服务时模型加载超时导致异常退出。
[*]四、制作推理服务镜像
[*]参考同上
[*]五、ModelArts镜像上传部署
[*]步骤参考ModelArts文档，需要注意需在日志报Warm Up Success后才可正常使用服务，否则有可能超时或服务异常退出。
页:
[1]