Skip to content

异构卡纳管:开发训练与资产沉淀 ​

本场景指导普通用户使用异构卡纳管算力创建在线开发环境或运行实例,并把代码、数据、镜像和模型产物沉淀为可复用资产。

适用角色 ​

  • 创建开发或训练任务的平台用户
  • 准备镜像、存储、算力、配额和监控的平台运营方

场景目标 ​

  • 用户能选择可用镜像、资源规格和存储创建开发或训练环境。
  • 代码与数据放在持久化存储中,不依赖临时容器文件系统。
  • 定制环境能够保存为镜像,模型和结果能够保存到受控存储位置。
  • 作业完成后可以查看日志、监控和资源用量,并按需释放资源。

开始前准备 ​

  1. 运营方已开放目标地域、镜像、存储、规格和租户配额。
  2. 明确开发、训练或批处理任务需要的 CPU、内存、加速卡和运行时长。
  3. 准备代码仓库、数据路径、基础镜像和输出目录。
  4. 确认数据合规、镜像来源和外部网络访问边界。

操作流程 ​

  1. 准备对象存储或文件存储,确认数据路径和结果路径可访问。参考对象存储和文件存储。
  2. 准备或选择带版本的运行镜像,并确认目标地域能够拉取。参考镜像服务。
  3. 进入开发环境,创建在线 IDE,选择镜像和资源规格,挂载持久化工作区,并确认开发环境能够正常打开。

创建在线 IDE 并配置持久化工作区

  1. 进入模型训练,创建训练或批处理运行实例,核对代码、数据、输出目录和启动命令,并确认作业进入运行状态且持续输出日志。

创建训练运行实例

  1. 将镜像、模型和结果保存到受控存储,确保后续任务可以复用。
  2. 查看作业监控和资源用量,停止不再使用的实例。

资产沉淀建议 ​

资产推荐保存位置不应只保存在
代码与配置版本库和持久化工作目录临时容器目录
数据集对象存储或文件存储本地临时盘
运行环境版本化镜像手工安装记录
模型权重受控对象存储或模型目录单个实例文件系统
日志与结果持久化输出目录终端滚动输出

完成检查 ​

用途: 以下检查是当前功能任务的退出条件,用于判断操作结果是否可观察、可复核,以及是否可以继续当前场景的下一步。它不是操作步骤的重复;任一项不满足时,请按下方“常见失败分支”继续排查。

检查项通过标准
1开发或训练实例状态正常,日志没有持续错误。
2重启或重建实例后,持久化代码和数据仍可访问。
3镜像、模型和结果具备明确版本与所有者。
4作业消耗的规格、时长和用量记录符合预期。
5不再使用的实例和临时资源已停止或清理。

常见失败分支 ​

现象优先检查
无可选镜像或规格地域、授权、镜像状态、集群关联和配额
IDE 无法打开实例状态、服务端口、网络入口和日志
数据不可见存储组件、挂载路径、权限和地域
作业排队或失败规格容量、镜像、启动命令、加速卡和配额
产物丢失是否写入临时目录、任务结束前是否完成上传或同步