Pai-Megatron-Patch を使用してモデルトレーニングを高速化する前に、Pai-Megatron-Patch イメージをインストールする必要があります。本トピックでは、その制限事項とインストール手順について説明します。
制限事項
-
Pai-Megatron-Patch イメージは、GPU インスタンスにのみインストールできます。
-
GPU ドライバーのバージョンは 460.32 以降である必要があります。
操作手順
DLC でのインストール
Deep Learning Containers (DLC) は、機械学習トレーニングに柔軟で安定した、高性能な環境を提供するクラウドネイティブのディープラーニングプラットフォームです。DLC は、さまざまなアルゴリズムフレームワーク、カスタムフレームワーク、および超大規模な分散トレーニングジョブをサポートしています。
DLC はカスタムイメージをサポートしており、Pai-Megatron-Patch のデプロイを簡素化します。イメージアドレスを提供するだけで、DLC が自動的にイメージをインストールします。インストール後、複数のノードと GPU にまたがる超大規模な分散トレーニングジョブを実行できます。
次の手順を実行します。
-
PAI コンソールにログインします。
-
左側のナビゲーションペインで Workspaces をクリックします。Workspaces ページで、使用するワークスペースの名前をクリックします。
-
左側のナビゲーションペインで、Model Training > Deep Learning Containers (DLC) を選択し、Create Task をクリックします。
-
以下の主要パラメーターとその他の設定を必要に応じて設定します。詳細については、「トレーニングジョブの作成」をご参照ください。
-
Environment Information セクションで、Node Image を Image URL に設定し、次のアドレスを入力します：
pai-image-manage-registry.cn-wulanchabu.cr.aliyuncs.com/pai/pytorch-training:2.0-ubuntu20.04-py3.10-cuda11.8-megatron-patch-llm -
Resource Information セクションで、次のパラメーターを設定します：
-
Framework で、[PyTorch] を選択します。
-
Task Resources で、[Instance Type] 列の
アイコンをクリックし、GPU ノードを選択してから、要件に基づいて特定のインスタンスタイプを選択します。
-
-
-
OK をクリックします。
DSW でのインストール
Data Science Workshop (DSW) は、アルゴリズム開発者向けのクラウドベースのディープラーニング開発環境です。JupyterLab が統合されており、カスタムプラグインをサポートしているため、コードの記述やデバッグが可能です。
DSW はカスタムイメージの読み込みもサポートしています。イメージアドレスを DSW に提供することで、Pai-Megatron-Patch を自動的にインストールできます。インストール後、DSW で Pai-Megatron-Patch を使用して、トレーニングプログラムをデバッグし、高速化できます。
インストール手順は次のとおりです。
-
PAI コンソールにログインします。
-
左側のナビゲーションペインで Workspaces をクリックします。Workspaces ページで、使用するワークスペースの名前をクリックします。
-
左側のナビゲーションペインで、Model Training > Data Science Workshop (DSW) を選択し、Create Instance をクリックします。
-
以下の主要パラメーターを設定します。必要に応じて他のパラメーターも設定します。パラメーターの詳細については、「DSW インスタンスの作成」をご参照ください。
-
Resource Quota：[Public Resource Group (Pay-as-you-go)] を選択します。
-
Instance Type：
をクリックし、ユースケースに基づいて GPU インスタンスタイプを選択します。 -
Images：[Image Address] フィールドに、次の URL を入力します：
pai-image-manage-registry.cn-wulanchabu.cr.aliyuncs.com/pai/pytorch-training:2.0-ubuntu20.04-py3.10-cuda11.8-megatron-patch-llm。
-
-
OK をクリックして DSW インスタンスを作成します。
インストール後
Pai-Megatron-Patch イメージをインストールした後、Pai-Megatron-Patch の examples フォルダーにあるサンプルを参照し、使用してください。