Pai-Megatron-Patch を使用してモデルトレーニングを高速化する前に、Pai-Megatron-Patch イメージをインストールする必要があります。このトピックでは、制限事項とインストール手順について説明します。
制限事項
-
Pai-Megatron-Patch イメージは GPU インスタンスにのみインストールできます。
-
GPU ドライバーのバージョンは 460.32 以降が必要です。
手順
DLC へのインストール
Deep Learning Containers (DLC) は、機械学習トレーニングのための柔軟で安定した高性能な環境を提供する、クラウドネイティブなディープラーニングプラットフォームです。DLC は、さまざまなアルゴリズムフレームワーク、カスタムフレームワーク、および超大規模な分散トレーニングジョブをサポートしています。
DLC はカスタムイメージをサポートしており、Pai-Megatron-Patch のデプロイを簡素化します。イメージアドレスを提供するだけで、DLC が自動的にイメージをインストールします。インストール後、複数のノードと GPU にまたがる超大規模な分散トレーニングジョブを実行できます。
手順は次のとおりです。
-
PAI コンソールにログインします。
-
左側メニューで ワークスペースの一覧 をクリックします。[Workspaces] ページで、使用するワークスペースの名前をクリックします。
-
左側メニューで、モデル開発とトレーニング > 分散トレーニング (DLC) を選択し、タスクの作成 をクリックします。
-
キーパラメーターとその他の設定を必要に応じて構成します。詳細については、「トレーニングジョブの作成」をご参照ください。
-
環境コンテキスト セクションで、ノードイメージ を イメージアドレス に設定し、次のアドレスを入力します: pai-image-manage-registry.cn-wulanchabu.cr.aliyuncs.com/pai/pytorch-training:2.0-ubuntu20.04-py3.10-cuda11.8-megatron-patch-llm
-
リソース情報 セクションで、次のパラメーターを設定します:
-
フレームワーク で、[PyTorch] を選択します。
-
タスクリソース で、[Instance Type] 列の
アイコンをクリックし、GPU ノードを選択してから、要件に基づいて特定のインスタンスタイプを選択します。
-
-
-
OK をクリックします。
DSW へのインストール
Data Science Workshop (DSW) は、アルゴリズム開発者向けのクラウドベースのディープラーニング開発環境です。JupyterLab を統合し、カスタムプラグインをサポートしており、コードの記述やデバッグを行うことができます。
DSW はカスタムイメージの読み込みもサポートしています。DSW にイメージアドレスを提供することで、Pai-Megatron-Patch を自動的にインストールできます。インストール後、DSW で Pai-Megatron-Patch を使用して、トレーニングプログラムのデバッグや高速化ができます。
インストール手順は次のとおりです。
-
PAI コンソールにログインします。
-
左側メニューで ワークスペースの一覧 をクリックします。[Workspaces] ページで、開きたいワークスペースの名前をクリックします。
-
左側メニューで、モデル開発とトレーニング > インタラクティブモデリング (DSW) を選択し、インスタンスの作成 をクリックします。
-
キーパラメーターは次のように設定します。その他のパラメーターは必要に応じて設定してください。パラメーターの詳細については、「DSW インスタンスの作成」をご参照ください。
-
リソースクォータ : [Public Resource Group (Pay-as-you-go)] を選択します。
-
リソース仕様 :
をクリックし、ユースケースに基づいて GPU インスタンスタイプを選択します。 -
イメージ : [Image Address] フィールドに、次の URL を入力します:
pai-image-manage-registry.cn-wulanchabu.cr.aliyuncs.com/pai/pytorch-training:2.0-ubuntu20.04-py3.10-cuda11.8-megatron-patch-llm。
-
-
OK をクリックして DSW インスタンスを作成します。
インストール後
Pai-Megatron-Patch イメージをインストールした後、Pai-Megatron-Patch の examples フォルダーにあるサンプルを参照して使用してください。