Skip to content

部署模型并检查状态 ​

场景目标 ​

模型实例进入运行状态,事件和日志无持续错误,并通过受控请求验证所选 NPU 方案。

适用角色 ​

  • 平台用户
  • 模型提供方
  • 协助排查基础设施的平台运营方

开始前准备 ​

  • 确认模板、租户配额、存储和预期的单卡或 4 卡方案可用。
  • 准备无副作用的测试请求,并记录实例名称。

功能入口 ​

  • 角色:模型提供方 / 最终用户
  • 菜单:AI基础设施 > On-Prem > 模型部署 > 部署模板 / 模型实例
  • 实例路由:/powerone/quickstart/model-service

操作步骤 ​

  1. 在部署模板页面选择已发布的 NPU 推理模板。
  2. 选择 1 卡、2 卡或 4 卡规格,并填写实例名称和模型参数。
  3. 提交部署后进入 模型实例,按名称定位目标实例。
  4. 实例长时间创建中时,查看作业事件、镜像拉取和资源调度结果。
  5. 实例运行后,核对服务地址、健康状态和实际 NPU 占用。

模型实例列表

状态判断 ​

状态处理建议
创建中等待镜像拉取和调度,持续查看作业事件
运行中检查健康状态、访问入口和设备占用
排队中检查租户配额、资源规格和剩余 NPU 数量
失败检查镜像、启动参数、驱动、存储和多卡通信

4 张 NPU 卡的验证重点 ​

  • 4 卡实例应实际占用 4 张卡,不应只看模板名称。
  • 如果 4 卡规格无法调度,先验证 1 卡,再验证 2 卡,最后验证 4 卡。
  • 节点上总卡数足够不代表单个调度拓扑满足 4 卡需求。

完成检查 ​

用途: 以下检查是当前功能任务的退出条件,用于判断操作结果是否可观察、可复核,以及是否可以继续当前场景的下一步。它不是操作步骤的重复;任一项不满足时,请按下方“常见失败分支”继续排查。

检查项通过标准
1实例状态为运行中。
2设备监控显示对应卡被该作业占用。
3服务健康检查和一次最小调用成功。

常见失败分支 ​

现象优先检查
实例长时间排队租户配额、空闲 NPU、规格、集群关联和调度事件
实例运行但调用失败日志、模型路径、端口、协议、请求参数和限流

操作手册 ​

查看模型实例完整说明