分散トレーニング Deep Learning Containers (DLC) は Kubernetes 上で実行され、分散深層学習ワークロード向けにすぐに使用できるトレーニング環境を提供します。これにより、クラスターを設定することなく、GPU および Lingjun AI Compute リソース全体で PyTorch、TensorFlow、Megatron などのフレームワークを使用して、トレーニングジョブをすぐに送信できます。
主な利点
多様なコンピューティングリソース
Elastic Compute Service (ECS)、ECI、Shenlong ベアメタル、Lingjun ベアメタルインスタンスなどを含む、Lingjun AI Compute および汎用コンピューティングリソース上で実行されます。これらのリソースタイプにわたる異種コンピューティングスケジューリングをサポートします。
幅広いフレームワークのサポート
クラスターをセットアップすることなく、Megatron、DeepSpeed、PyTorch、TensorFlow、MPI、XGBoost など、10 を超えるトレーニングフレームワークでジョブを実行できます。DLC は、複数のビルド済みイメージを提供し、カスタムランタイム環境をサポートします。コンソール、SDK、または CLI からジョブを送信します。
高い安定性
大規模モデルトレーニング向けに、DLC は独自の AIMaster フォールトトレランスエンジン、EasyCKPT 高性能チェックポイントフレームワーク、SanityCheck ヘルス検出、および自動ノード修復を通じて、コンピューティング損失を削減し、トレーニングの安定性を向上させます。
高いパフォーマンス
独自の AI トレーニング高速化フレームワークは、データ並列処理、パイプライン並列処理、演算子分割など、複数の並列化戦略をサポートし、自動的な戦略検索とメモリ最適化を備えています。トポロジーアウェアスケジューリング、勾配グループ融合、混合精度通信と組み合わせることで、DLC は分散トレーニングの効率を向上させます。大規模モデルの事前学習、継続的なトレーニング、アライメントのワークロードに適しています。
ユースケース
データ前処理：カスタムランタイム環境を使用してオフラインの並列前処理を実行し、トレーニングデータ準備の複雑さを軽減します。
大規模分散トレーニング：複数のオープンソース深層学習フレームワークを使用して、数千のノードで同時にトレーニングを行い、トレーニング時間を大幅に短縮します。
オフライン推論：DLC でオフライン推論ジョブを実行し、アイドル期間中の GPU 使用率を向上させます。
リソースタイプ
PAI は、コンピューティング要件に基づいて選択できる 2 つのリソースタイプを提供します。
Lingjun AI Compute：大規模モデルトレーニング向けに設計された高性能コンピューティングリソースで、超大規模な深層学習ワークロードをサポートします。大規模なコンピューティングを必要とする大規模モデルトレーニング、自動運転、科学研究に適しています。
汎用コンピューティング：標準的なトレーニングワークロード向けの柔軟なリソースで、さまざまな規模や種類の機械学習タスクをサポートします。
Lingjun AI Compute と汎用コンピューティングリソースは、以下の使用モードで利用可能です。
リソースクォータ：長期的で安定したトレーニングニーズに対応するため、サブスクリプション契約で Lingjun または汎用コンピューティングリソースを購入します。
パブリックリソース：ジョブの送信時に Lingjun または汎用コンピューティングリソースをオンデマンドで使用し、従量課金で請求されます。事前の購入は不要です。
スポットインスタンス：Lingjun AI Compute は、より低コストで AI コンピューティング能力を得るためのスポットインスタンスを提供します。
主な機能
ジョブの作成と管理
トレーニングジョブの作成：コンソール、SDK、または CLI からトレーニングジョブを送信し、イメージ、データセット、リソースタイプ、起動コマンドを設定します。
ジョブ詳細の表示：ジョブの基本情報、リソースビュー、および操作ログを表示します。
トレーニングジョブの管理：ジョブの停止、複製、共有、スクリプト生成、削除を行います。
オフラインスケジューリングの設定：データやハイパーパラメータが更新された際に、増分トレーニングやモデルチューニングのために DLC ジョブを自動的に送信します。
ストレージ設定：Object Storage Service (OSS)、Apsara File Storage NAS (NAS)、Cloud Parallel File Storage (CPFS) をマウントまたは設定します。
ジョブのモニタリングと通知
トレーニングジョブ分析レポートの表示：TensorBoard でトレーニングメトリクスと分析レポートを可視化します。
CloudMonitor または ARMS によるジョブのモニタリング：DLC ジョブのリソース使用状況を表示したり、アラートルールを設定したりします。
通知の設定：PAI ワークスペースのイベントセンターで通知ルールを作成し、ジョブのステータス変更をリアルタイムで追跡します。
ネットワークと通信の高速化
RDMA 設定：Lingjun AI Compute リソースを使用する際に、高性能な RDMA (Remote Direct Memory Access) ネットワークを設定して、ノード間通信を高速化します。
ACCL：Alibaba Cloud 独自の高性能集合通信ライブラリ：Alibaba Cloud のネットワーク特性と大規模モデルの通信パターンに合わせて調整された、障害診断と自己修復機能が組み込まれた高性能な集合通信です。
パブリック NAT ゲートウェイによるインターネットアクセス速度の向上：インスタンスが配置されている VPC 用にパブリック NAT ゲートウェイを作成し、SNAT を設定して、インスタンスが専用のパブリックゲートウェイを介して高速にインターネットにアクセスできるようにします。
コスト最適化
スポットインスタンス：Lingjun スポットインスタンスを使用して DLC ジョブを作成し、より低コストで AI コンピューティング能力を取得します。
遊休リソースの使用：他のクォータのアイドルキャパシティを使用する低優先度のコンピューティングジョブを送信し、通常ワークロードに影響を与えることなくリソース使用率を向上させ、トレーニングコストを削減します。
弾力性とフォールトトレランス
自動フォールトトレランス：AIMaster はジョブのステータスを監視し、障害を自動的に検出して回復します。
ヘルスチェック：トレーニング開始前にリソースの健全性を検出し、障害のあるノードを自動的に隔離します。
EasyCKPT：PyTorch の大規模モデルトレーニング向けに、ロスレスなモデルのチェックポイント作成と回復を提供し、チェックポイントからの再開をサポートします。
PerfTracker：オンラインパフォーマンス分析と診断：各ワーカーから CUDA カーネル関数、Python 関数の実行記録、ハードウェアメトリクスをリアルタイムで収集し、分析レポートを自動生成して、遅いノード、ボトルネック関数、ハングの問題を特定します。
課金
DLC は主にコンピューティングリソースに対して課金されます。
コンピューティングリソースタイプ | 課金方法 | 課金対象 | 課金ルール | 課金停止のタイミング |
パブリックリソース | 従量課金 | DLC ジョブの実行時間 (ジョブがパブリックリソースを占有する時間)。 |
|
|
AI コンピューティングリソース (汎用コンピューティングおよび Lingjun AI Compute) | サブスクリプション | 詳細については、「AI コンピューティングリソースの課金」をご参照ください。 | 詳細については、「AI コンピューティングリソースの課金」をご参照ください。 | 該当なし |
詳細については、「DLC の課金」をご参照ください。
クイックスタート
MNIST の手書き数字認識の例を使用して、DLC でシングルノード・シングル GPU またはマルチノード・マルチ GPU の分散トレーニングを実行する方法を学習します。詳細については、「Deep Learning Containers (DLC) の開始方法」をご参照ください。
ヘルプ
DLC FAQ：ジョブの開始または停止の失敗、課金に関する質問、トレーニングエラーなどの問題については、「DLC FAQ」をご参照ください。
PAI AI アシスタント (Agentic PAI)：PAI コンソールの右上隅にある
アイコンをクリックして、PAI AI アシスタント (Agentic PAI) を起動します。Agentic PAI は、エンドツーエンドの PAI 製品のユーザーマニュアルと運用ガイドラインを提供します。DSW インスタンス、DLC ジョブ、EAS サービスの O&M 診断をサポートし、障害の根本原因を自動的に特定して、トラブルシューティングの推奨事項を提供します。
関連ドキュメント
トレーニングジョブの作成：コンソール、SDK、または CLI からトレーニングジョブを送信し、主要なパラメータの設定方法を学習します。
DLC ユースケース：実践的な例を通じて DLC の使用方法を学習します。