Pai-Megatron-Patch镜像用于加速模型训练。安装前请确认使用限制和操作要点。
使用限制
安装Pai-Megatron-Patch镜像时,仅支持使用GPU类型的实例。
显卡驱动版本在460.32及以上。
操作步骤
在DLC中安装Pai-Megatron-Patch镜像
DLC为开发者和企业提供云原生一站式深度学习训练平台,具备灵活、稳定、易用和高性能特点。支持多种算法框架、超大规模分布式训练任务及自定义算法框架,帮助降本增效。
DLC支持加载自定义镜像,简化Pai-Megatron-Patch部署。将镜像地址传给DLC即可自动安装镜像,安装后可在DLC上基于Pai-Megatron-Patch开展多机多卡超大规模分布式训练。
安装步骤如下:
登录PAI控制台。
在左侧导航栏单击工作空间列表,在工作空间列表页面中单击待操作的工作空间名称,进入该工作空间。
在工作空间页面的左侧导航栏选择模型开发与训练 > 分布式训练(DLC),单击新建任务。
其他参数按需配置,详情请参见创建训练任务。
环境信息:节点镜像选择镜像地址,并在镜像地址框中填写Pai-Megatron-Patch镜像地址(DLC据此地址自动拉取镜像):pai-image-manage-registry.cn-wulanchabu.cr.aliyuncs.com/pai/pytorch-training:2.0-ubuntu20.04-py3.10-cuda11.8-megatron-patch-llm
资源信息:
框架选择PyTorch。
任务资源:在资源规格列单击
,选择GPU类型节点(Pai-Megatron-Patch仅支持GPU实例),再根据算力需求选择具体规格。
单击确定。
在DSW中安装Pai-Megatron-Patch镜像
DSW为算法开发者提供云端深度学习开发环境,集成JupyterLab,支持插件化定制开发,无需运维配置。可直接在Notebook中编写、调试和运行Python代码,安装开源框架,并使用深度优化的TensorFlow框架提升训练性能。
DSW同样支持加载自定义镜像。将镜像地址传给DSW即可自动安装Pai-Megatron-Patch,安装后可在DSW上调试训练加速程序。
安装步骤如下:
登录PAI控制台。
在左侧导航栏单击工作空间列表,在工作空间列表页面中单击待操作的工作空间名称,进入该工作空间。
在工作空间页面的左侧导航栏选择模型开发与训练 > 交互式建模(DSW),单击新建实例。
关键配置如下,其他参数按需配置,详情请参见创建DSW实例。
资源配额:选择公共资源(后付费)。
资源规格:单击
,选择GPU类型实例规格(Pai-Megatron-Patch仅支持GPU实例)。镜像:在镜像地址框中填写Pai-Megatron-Patch镜像地址:
pai-image-manage-registry.cn-wulanchabu.cr.aliyuncs.com/pai/pytorch-training:2.0-ubuntu20.04-py3.10-cuda11.8-megatron-patch-llm。
单击确定,创建DSW实例。
安装后使用
安装Pai-Megatron-Patch镜像后,您可以在Pai-Megatron-Patch的examples文件夹中查看示例并使用。