Kubernetes で AI / 機械学習基盤を構築
Cloud-native AI は、AI プラットフォームの構築、AI ワークロードの高速化、MLOps の簡素化を支援する機能とサービスを提供します。
リソースのスケーラビリティ
GPU と CPU の利用効率を高め、ヘテロジニアスリソースのスケーラビリティを強化します。
高効率スケジューリング
AI タスクとビッグデータタスクを効率的にスケジューリングし、AI プロダクション全工程をエンドツーエンドでサポートします。
データアクセスの高速化
データアクセス性能を向上させ、ヘテロジニアスなデータソースを統合します。
オブザーバビリティ
タスク、ユーザークォータ、リソースを監視するためのさまざまな手段を提供します。
柔軟性と拡張性
コンポーネントベースの拡張可能なアーキテクチャを活用し、カスタム Cloud-native AI プラットフォームを構築できます。
標準 Kubernetes
標準 Kubernetes 上で動作し、パブリッククラウド、Apsara Stack、ハイブリッドクラウド、ACK エッジクラスターに対応しています。
特長
ヘテロジニアスリソースの高効率活用
GPU スケジューリング、GPU シェアリング、メモリ分離に対応しています。さまざまなポリシーを設定して GPU を割り当て、GPU リソースの消費状況を多角的にモニタリングできます。
データアクセス性能の向上
コンピューティングとストレージを分離します。Fluid はクラウドネイティブ AI およびビッグデータアプリケーション向けにデータを抽象化し、データアクセスを高速化します。さらに、データのセキュリティ分離を強化し、異なるストレージタイプに起因するデータサイロを解消します。
AI タスクスケジューリング
ギャングスケジューリング、キャパシティスケジューリング、ビンパックスケジューリングなど、多彩なスケジューリングポリシーに対応し、AI タスクの要件を満たしながらクラスターリソースの利用効率を向上させます。
ヘテロジニアスリソースの Auto Scaling
インテリジェントな負荷シフトにより、クラウドリソースの無駄を防止します。Cloud-native AI はエラスティックなモデルトレーニングとモデルベースの推論もサポートしています。
クラスタータスク、ユーザー、リソースの可視化
タスク、ユーザークォータ、クラスターリソースのモニタリングダッシュボードを提供し、インプットとアウトプットの評価を支援します。
ユースケース
メリット
-
プロジェクトグループに基づくリソース割り当て
プロジェクトメンバーを分離されたグループに分割できます。グループ単位でリソースの割り当てと分離を行ったり、グループごとに権限を管理したりできます。
-
ユーザー間の分離と共有
ビジネス要件に応じて、クラスターリソースをユーザーグループに割り当てできます。グループ内のユーザー権限も管理可能です。ジョブに対するユーザーの読み取り/書き込み権限や、データに対するジョブの読み取り/書き込み権限を設定できます。
-
エラスティッククォータ
エラスティッククォータグループによるキャパシティスケジューリングで、リソースを共有し、ユーザーに適切に割り当てできます。これにより、クラスター全体のリソース使用率が向上します。
メリット
-
データセット抽象化のネイティブサポート
Cloud-native AI は、データ集約型アプリケーションに必要な基本機能をパッケージ化します。これにより、効率的なデータアクセスを実現し、ヘテロジニアスデータの管理コストを削減します。
-
クラウドでのデータプリロードとアクセラレーション
Fluid は分散キャッシュエンジンを活用し、クラウドでのデータプリロードとアクセラレーションをサポートします。これにより、キャッシュデータのオブザーバビリティ、ポータビリティ、水平方向の自動スケーラビリティを確保します。
-
データとアプリケーションの協調オーケストレーション
クラウド上でアプリケーションとデータをスケジューリングする際、特性とロケーションに基づいてアプリケーションとデータのオーケストレーションを調整し、全体的なパフォーマンスを向上できます。
-
名前空間管理
1 つのデータセットで複数のデータソースに同時にアクセスできます。Object Storage Service (OSS)、Hadoop 分散ファイルシステム (HDFS)、Ceph などのストレージサービスに対応しており、ハイブリッドクラウド環境に適しています。
-
ヘテロジニアスデータソースの管理
1 つのデータセットで複数のデータソースに同時にアクセスできます。Object Storage Service (OSS)、Hadoop 分散ファイルシステム (HDFS)、Ceph などのストレージサービスに対応しており、ハイブリッドクラウド環境に適しています。
メリット
-
GPU シェアリングとスケジューリング
GPU シェアリングとスケジューリングにより、1 つの GPU で複数のコンテナを実行できます。
-
トポロジー対応 GPU スケジューリング
GPU スケジューリング時に最適な GPU の組み合わせを選択し、トレーニング速度を最大化できます。
-
ビンパックスケジューリング
ジョブは最初に 1 つのノードに割り当てられます。そのノードのリソースが不足した場合、別のノードに割り当てられます。これにより、ノード間のデータ転送を最小限に抑え、リソースのフラグメンテーションを防止します。
-
ギャングスケジューリング
ジョブのすべてのサブタスクに十分なリソースがある場合にのみ、リソースが割り当てられます。これにより、大規模ジョブが小規模ジョブのリソースを横取りするデッドロックを防止します。
メリット
-
Arena AI Toolkit
Go、Java、Python 向けのコマンドラインと SDK は、ヘテロジニアスな基盤リソースに対応しています。これにより、環境管理、タスクのスケジューリング、GPU の割り当て、リソースのモニタリングを簡素化できます。
-
このツールキットは、TensorFlow、PyTorch、Caffe、Message Passing Interface（MPI）、Hovorod など、さまざまなディープラーニングフレームワークに対応しています。トレーニングデータセット管理、AI タスク管理、モデル開発、分散トレーニング、評価、推論モデルリリースなど、MLOps のプロセス全体をカバーします。
-
R&D コンソールは、オンデマンドのアルゴリズム開発環境を提供します。R&D ライフサイクル全体を通じて、ノートブック管理、AI タスク管理、モデル管理、モデルリリースなどの運用操作を実行できます。
メリット
-
リアルタイム GPU 使用率ダッシュボード
リソース使用率を複数のディメンションからリアルタイムでモニタリングできます。
-
データセット管理とアクセラレーション
既存のデータセットへのアクセスをワンクリックで高速化し、効率を向上できます。
-
ユーザーおよびユーザーグループ管理
プロジェクト単位でユーザーやユーザーグループを作成し、権限やクォータをきめ細かく管理できます。
-
エラスティッククォータ管理
キャパシティスケジューリングにより、ユーザーグループ間でリソースを動的に共有できます。
