DLC トレーニングジョブに必要なコンピューティングリソース、コンテナイメージ、データセット、ソースコードを準備します。
前提条件
ストレージとして OSS を使用する場合は、DLC に OSS へのアクセスに必要な権限を付与してください。適切な権限がないと、マウントされた OSS バケットからデータにアクセスする際に I/O エラーが発生します。詳細については、「クラウド製品の依存関係と権限付与：DLC」をご参照ください。
ステップ1：リソースの準備
AI トレーニング用のコンピューティングリソースを準備します。次のリソースタイプを使用できます。
-
パブリックリソース
DLC の権限付与を完了すると、パブリックリソースはリソースグループを追加しなくても タスクの作成 ページで使用できるようになります。
-
汎用コンピューティングリソース
専用のリソースグループを作成し、汎用コンピューティングリソースを購入し、リソースクォータを作成してリソースを割り当てます。リソースクォータをワークスペースに関連付けて、トレーニングジョブを送信します。詳細については、「汎用コンピューティングリソースクォータ」をご参照ください。
-
Lingjun リソース
Lingjun リソースを準備し、ワークスペースに関連付けます。詳細については、「リソースクォータの作成」をご参照ください。
ステップ2：イメージの準備
トレーニング環境用のコンテナイメージを準備します。次のイメージオプションがサポートされています。
-
公式イメージ: PAI は、さまざまなフレームワークに基づいた公式イメージを提供します。これらのイメージは Alibaba Cloud サービスに最適化されており、より優れた互換性とパフォーマンスを提供します。PAI コンソールの AI アセット管理のイメージページ に移動します。イメージ： ページの PAI プラットフォームイメージ タブで、[モジュール] を DLC に設定すると、DLC ジョブをサポートするイメージを表示できます。
-
カスタムイメージ：トレーニングジョブに特定の環境や依存関係が必要な場合は、カスタムイメージを使用します。ワークスペースの ページでイメージを PAI AI アセットとして追加すると、複数のトレーニングジョブで再利用できるようになります。詳細については、「カスタムイメージ」をご参照ください。
重要Lingjun リソースでカスタムイメージを使用する場合は、「RDMA：分散トレーニングでの高性能ネットワークの使用」で関連する考慮事項をご参照ください。
-
イメージアドレス：トレーニングジョブを送信する際に、カスタムイメージまたは公式イメージのアドレスを指定してください。イメージアドレスは、PAI コンソールのAI アセット管理のイメージページで確認できます。
ステップ3：データセットの準備
トレーニングデータを OSS、NAS、または CPFS にアップロードしてデータセットを作成するか、OSS バケットまたはパブリックデータセットから直接データをマウントします。
サポートされているデータセットタイプ
PAI は、OSS、汎用 NAS、Extreme NAS、CPFS、Lingjun CPFS に保存されたデータセットをサポートしています。Lingjun CPFS を除くすべてのタイプで、データセットの高速化がサポートされています。
データセットの作成
詳細な手順については、「データセットの作成と管理」をご参照ください。次の制限事項にご注意ください。
-
OSS の制限事項：OSS は分散オブジェクトストレージサービスであり、ファイルシステムではありません。OSS バケットをマウントした後、既存のファイルにデータを追加したり、上書きしたりすることはできません。
-
CPFS の VPC 要件：トレーニングジョブが CPFS ファイルシステムと同じ VPC を使用するように設定してください。VPC が一致しない場合、ジョブは [Preparing environment] 状態のまま無期限に停止します。
データセットの高速化の有効化
データセットの高速化を有効にすると、データ読み取り効率が向上します。詳細については、「PAI でのデータセットアクセラレータの使用」をご参照ください。
ステップ4：ソースコードの準備
ワークスペースの ページでトレーニングコードを AI アセットとして追加すると、複数のトレーニングジョブで再利用できるようになります。詳細については、「コード設定」をご参照ください。
次のステップ
これらの準備が完了したら、トレーニングジョブを作成してください。詳細については、「トレーニングジョブの作成」をご参照ください。