Container Service for Kubernetes:ヘテロジニアスコンピューティングの概要

ヘテロジニアスリソース

説明

GPU

T4、P100、V100 などの主流の GPU カードを使用してクラスターを作成します。

• 個々の GPU のリソースリクエストをサポートします。

• GPU メトリクスに基づく自動スケーリングをサポートします。

• GPU 共有とコンピューティング性能フェンシングをサポートします。 Alibaba Cloud の GPU 共有は、単一の GPU で複数の推論ワークロードを実行し、コストを削減します。 cGPU は、コンテナを変更することなく GPU メモリとコンピューティング性能をフェンシングすることで、アプリケーションの安定性を向上させます。 サポートされている割り当てポリシーは次のとおりです：

  • 単一 Pod-単一 GPU 共有：モデルの推論に一般的に使用されます。

  • 単一 Pod-複数 GPU 共有：分散トレーニング開発に一般的に使用されます。

  • Binpack：複数の Pod を同じ GPU カードに優先的にスケジューリングして、使用率を向上させます。

  • Spread：可用性 (HA) を高めるために、Pod を可能な限り複数の GPU カードに分散させます。

• トポロジー対応 GPU スケジューリングをサポートします。 スケジューラ は、ノードからリソースのトポロジーを取得し、NVLink、PCIe スイッチ、QPI、RDMA NIC の配置を最適化します。

• 専用 GPU と共有 GPU の両方に対し、自動異常検出とアラートを備えた、ノードレベルおよびアプリケーションレベルでのGPU リソースモニタリングをサポートします。

ASIC

ACK は、NETINT ASIC デバイスを備えたクラスターと、個々の ASIC カードのリソースリクエストをサポートします。

eRDMA

eRDMA デバイスを使用してクラスターを作成します。

• Arena を通じて eRDMA デバイスで分散ディープラーニングのトレーニングジョブをサブミットします。

• 分散ディープラーニングトレーニングなどの高帯域幅ジョブをサポートします。