Skip to content

场景概览 - 异构卡纳管:模型部署与状态检查 ​

本场景介绍用户如何基于推理模板创建模型实例,并从实例、作业、节点和设备四个层面判断部署是否成功。对于 4 张 NPU 卡,本场景负责验证模板是否真的申请到预期卡数。

适用角色 ​

  • 模型提供方
  • 平台用户
  • 参与排障的运营管理员

场景目标 ​

  • 使用 NPU 推理模板创建模型实例。
  • 判断实例处于创建、运行、失败还是停止状态。
  • 确认实际分配的 NPU 数量与模板一致。

场景流程 ​

主线: 选择模板与规格 → 创建模型实例 → 检查调度和运行状态 → 验证服务调用

阶段核心结果
1. 选择配置模板、卡数、配额、存储和实例参数满足任务要求
2. 创建实例部署请求进入模型实例列表并可持续跟踪
3. 检查状态调度、镜像、事件、日志和实际 NPU 占用正常
4. 验证服务健康检查通过,服务入口完成一次受控调用

开始前准备 ​

  • 已有可用推理模板和足够的租户配额。
  • 目标集群有足够的空闲 NPU。
  • 已准备模型文件、镜像和启动参数。

推荐阅读顺序 ​

  1. 异构卡纳管:推理模板构建
  2. 部署模型并检查状态
  3. 异构卡纳管:资源计量与监控

文档索引 ​

文档说明
部署模型并检查状态创建实例,核对状态、作业事件和 NPU 分配结果

完成检查 ​

用途: 以下检查是本场景的退出条件,用于判断是否已经取得可观察、可复核的结果,以及是否可以进入下一场景。它不是操作步骤的重复;任一项不满足时,请返回对应功能文档的“常见失败分支”排查。

检查项通过标准
1模型实例进入运行状态。
2作业实际占用卡数与模板规格一致。
3服务健康检查和访问入口正常。