Big picture of machine learning technology

AI クラスターは、より高い AI 統合コンピューティングパワーの獲得を目的としており、「過去と未来をつなぐ」という役割を果たす。「つなぐ」とは、AI アプリケーションに対して有効な統合コンピューティングパワーを提供することであり、高い統合コンピューティングパワーとは、AI 大規模モデルと大量データを支える有効化能力である。「オン/オフ」とは、クラスターコンピューティング、ネットワーク、ストレージのバランス設計を通じて、AI コンピューティングチップの性能を最大限に引き出すことを意味する。たとえば、メモリ アクセスやネットワークのボトルネックは、AI チップ効率の低下を招く。AI クラスター設計のポイントは以下の通りである。1) シングルマシン：コンピューティング最適化、ソフトウェアとハードウェアの協調最適化により、AI アクセラレータの有効なコンピューティングパワーを引き出す。2) マルチコンピュータ：通信最適化により、マルチマシン間データ交換によるコンピューティング効率の損失を最小化する。单机高速化とクラスター高速化 (マルチマシン) の 2 つの観点から、関連する技術とシステムを紹介する。

まず、Alibaba の既存の技術スタックについて、コンピューティングと相互接続の観点から包括的に説明する。

DPCA サーバーと DPCA 仮想化技術

Alibaba Cloud DPCA のハードウェアプラットフォームにおいて、仮想化アーキテクチャもアップグレードされ、コンピューティング仮想化のアーキテクチャがより明確かつ簡潔になり、仮想機能が物理マシンに近いパフォーマンスを提供できるようになった。図に示すように、DPCA サーバーアーキテクチャの主な特徴は以下の通りである。I/O リンクが従来のソフトウェア実装からハードウェアおよびパススルーデバイスへと変革され、ストレージ仮想化とネットワーク仮想化が MOC カード上で実装されている。同時に、制御システムとモニタリングプログラムもすべて MOC カード上に配置されている。コンピューティングサービスを提供する物理マシン上では、Linux オペレーティングシステムと Alibaba Cloud がカスタマイズした軽量仮想マシンモニタのみが稼働する。総じて、DPCA ハードウェアプラットフォームの基盤と、軽量ホスト OS および軽量仮想マシンモニタが一体となり、DPCA アーキテクチャにおける新世代の軽量かつ効率的な仮想化プラットフォームを構成している。

GPU

CPU による AI コンピューティングの実行は、最適なコストパフォーマンスを達成できないことが多い。そこで、大規模並列コンピューティング能力を備え、AI コンピューティングを加速できる AI チップが誕生した。現在、GPU、FPGA、AI ASIC チップが最も代表的である。GPU は依然として最も成熟し、広く利用されているアクセラレータである。Alibaba の上位フレームワークでは、GPU に対して多くのコンパイルおよび最適化作業を行ってきた。GPU は Alibaba 内に広く配備されており、クラウド上での AI コンピューティングパワー販売の主力でもある。GPU ベースのクラウドプロダクトと最新世代 GPU の同時リリースを実現しており、クラウド上での GPU のセキュリティ、operability、ユーザーエクスペリエンスの面で業界をリードしている。GPU 仮想化シナリオにおける汎用コンピューティング operability のホットアップグレード機能は業界初であり、SRIOV ベースの GPU ホットマイグレーション技術の事前研究をリリースした業界初のクラウドベンダーである。また、クラウド上での GRID ベースの vGPU 技術出力を業界で初めて実現し、vGPU クラウド化の技術トレンドをリードするとともに、5G 時代におけるクラウドゲーム向け GPU コンピューティングインフラの基盤を築いている。

GPU のトレーニングチップは、GPU 技術の発展トレンドを常にリードしてきた。基本的な FP32 コンピューティングパワーの急速な成長に加え、精度の変更によりコンピューティングパワーが大幅に向上した。たとえば、TensorCore はコンピューティングパワー向上のもう一つのトレンドである。さらに、マルチカードおよびマルチコンピューター間の通信需要により、GPU 通信は PCIE P2P 技術、NVLink ベースの高速通信技術、RDMA ネットワーク経由の GPUDirect RDMA 技術を経てきた。Alibaba Cloud では、マルチテナント間でのコンピューティングパワー共有の必要性から、さまざまな通信モード下でのコンピューティングパワーの分割と通信の隔離をどのように実現するかが研究課題であり、NVSwitch プログラマブルトポロジー分割技術に基づく最新の NVLink 全接続シナリオもその一つである。

FPGA

FPGA デバイスは誕生以来、その柔軟性の高いプログラマビリティにより、有線および無線通信、航空宇宙、医療電子、自動車電子などの分野で広く使用され、ASIC に匹敵するパフォーマンスとエネルギー効率比を提供してきた。しかし、CPU や GPU と比較して、FPGA の開発サイクルは長く (ASIC の開発サイクルの半分、あるいは 3 分の 1 ではあるが)、開発と使用のしきい値が高く、FPGA の開発者数は CPU や GPU の開発者にはるかに及ばない。同時に、適用範囲と普及度も大きく制限されている。FPGA に関しては、Alibaba Cloud はより高いカスタマイズ性と自社開発能力を有している。Alibaba Cloud と AIS が共同開発した業界初のシングルカード・デュアルチップ FPGA ボードは、ボードレベルおよび HDK レベルでの独立した技術革新能力を実現している。

順天プラットフォーム：FPGA as a Service (FaaS)

クラウド上の FPGA インスタンスは豊富な機能出力を実現してきた。Alibaba Cloud FaaS (FPGA as a Service) 順天プラットフォームは、クラウド上に統一されたハードウェアプラットフォームとミドルウェアを提供し、アクセラレータの開発および展開コストを大幅に削減できる。サードパーティ ISV のアクセラレータ IP は迅速にサービスを形成してユーザーに提供でき、アクセラレーション技術とエンドユーザー間のハードウェアの障壁を排除する。ユーザーは基盤ハードウェアを意識することなく、オンデマンドでアクセラレーションサービスを利用できる。アクセラレータプロバイダーとユーザーに対して、より効率的で統一された開発・展開プラットフォームを提供するため、FaaS 順天プラットフォームは HDK と SDK の 2 つの主要な開発キットを提供している。FaaS の論理アーキテクチャを以下の図に示す。

Alibaba Cloud FaaS 順天プラットフォームは、DMA、XDMA、QDMA を含む最も包括的な DMA 技術ををサポートし、同一アーキテクチャで RTL と HLS の開発、検証、テストをサポートする。Xilinx と Intel の 2 大 FPGA メーカーをサポートする世界唯一のソフトウェアアーキテクチャであり、クラウドベンダーに対応している。包括的で優秀かつ互換性のあるシェル技術は、PR 技術による動的ホットアップグレードを可能にし、FaaS 順天プラットフォームを Alibaba Group の FPGA ヘテロジニアスアクセラレーションビジネスのインフラストラクチャとしている。Group が導入するすべての FPGA デバイスと完全互換であり、Taobao、Youku、Ant、Cloud Security などの複数の主要ビジネスセグメントで正常にサービスを提供してきた。

AliDNN

GPU 環境における一方向のソフトウェア適応ハードウェアとは異なり、FPGA と Alibaba が自社開発した NPU はハードウェアを定義する機会を与えてくれ、ビジネス特性に応じた深いソフトウェアとハードウェアの最適化を行うことができる。AliDNN は、FPGA ベースの命令セット、アクセラレータ、SDK、コンパイラからなるフルスタック自社開発ディープラーニング高速化エンジンである。命令セットとコンパイラ設計により、AliDNN に完全な柔軟性を提供している。ディープラーニングフレームワーク (TensorFlow、Caffe など) は AliDNN エンジンを直接呼び出すことができ、コンパイラ (Sinian) がディープラーニングモデルをアクセラレータ命令にコンパイルして計算を実行する。アルゴリズム、ランタイム、コンパイラ、アクセラレータのフルスタックソフトウェアとハードウェアの協調最適化により、AliDNN は極めて高い効率を実現している。AliDNN は高スループット、低レイテンシのディープラーニング推論サービスを提供する。

NPU

AliNPU (Hanguang 800 を含む) は、Alibaba Group 内の AI アプリケーションシナリオのニーズを分析し、CNN モデルに基づく深い最適化を行い、RNN モデルなどの一部の汎用モデルもサポートすることを決定した。これは特定のディープラーニングアルゴリズム分野に特化した最適化であり、関連アプリケーションのコストパフォーマンスを極限まで向上させる。公式に、Hanguang 800 のコストパフォーマンスは競合製品をはるかに上回り、世界最強の AI 推論チップとなっていることが確認されている。

RDMA

RDMA は現在業界で最も人気のある高性能ネットワーク技術であり、データ転送時間と CPU オーバーヘッドを大幅に削減できる。人工知能、科学計算、分散ストレージのパフォーマンスを向上させる重要技術として認識されている。Alibaba は、新しい HAIL ネットワークアーキテクチャに基づき、自社開発スイッチと組み合わせて、ホストネットワーク、メッセージミドルウェア、Pangu 分散ストレージ、ネットワーク運用、プロダクト運用に至る完全な技術システムを構築し、数十のデータセンターにわたる世界最大規模の RDMA ネットワーク展開を実現した。これは Amazon や Microsoft などの主要なクラウドベンダーをはるかに上回る規模である。この世界最大のデータセンターの「高速ネットワーク」により、クラスターは転送速度のボトルネックを大幅に突破し、クラウドディスク ESSD、クラウドスーパーコンピューティング SCC、機械学習 PAI、クラウドネイティブデータベース PolarDB などの人気のある革新的プロダクトを効果的にサポートし、E コマースデータベースが独身の日 (11.11) のピークトラフィックテストに対応できるよう支援した。同時に、POD を跨ぐことができるロッシー RDMA 技術が Alibaba で実験テスト段階に入っている。その時点で、RDMA の適用範囲はさらに拡大されるだろう。

EXSPARCL 通信ライブラリ

自社開発の EXSPARCL (Extremely Scalable and High Performance Alibaba gRoll Communication Library) 集合通信ライブラリは、汎用的な集合通信機能を提供し、NVIDIA の NCCL と互換性がある。EXSPARCL は大規模 AI クラスターをサポートする高速相互接続アーキテクチャとマルチネットワークカード機能に特化した最適化を行い、デバイス間の相互接続帯域幅を最大限に活用し、通信とビジネスパフォーマンスの線形拡張を保証する。クラスター/ホストの物理相互接続のトポロジー認識とネットワークルーティングの最適選択を通じて、革新的な輻輳フリーアルゴリズムを実装し、ノード内およびノード間の高速通信を保証する。たとえば、SCC トレーニングクラスターアーキテクチャでは、Rank リマッピング Havling-Doubling アルゴリズムの実装により、集合通信プロセスにおけるパス競合による輻輳やキューイングが発生しないことを保証できる。大規模環境では、NVIDIA の NCCL 通信ライブラリと比較して、集合通信 (AllReduce/AllGather) のパフォーマンスが数倍向上しており、ビジネスパフォーマンスの向上も非常に顕著である。さらに、トポロジー認識機能は障害回避にも活用でき、ネットワークの可用性を大幅に向上させる。参考：https://www.qbitai.com/2020/03/11987.html

Apsara AI 高速化ツール (AIACC)

Apsara AI 高速化ツールは、統一フレームワークを通じて、TensorFlow、PyTorch、MXNET、Cafe の 4 つの主要 AI コンピューティングフレームワークの分散パフォーマンス高速化をサポートし、VPC ネットワークと RDMA ネットワークに対して深いパフォーマンス最適化を行っている。シナリオとトレーニング規模に応じて、トレーニングパフォーマンスを 1 倍から 10 倍に向上させることができる。同時に、AIACC とすべての AI コンピューティングフレームワークはデカップリングされている。一方面では、各 AI コンピューティングフレームワークコミュニティ版の前方反復を容易にサポートでき、他方面では、ユーザーは各 AI コンピューティングフレームワークで実装されたモデルとアルゴリズムコードを変更することなく、簡単にパフォーマンス高速化を得ることができる。

FaaS 順天は FPGA チップの高速相互接続をサポート (最大 600G)

Alibaba Cloud と AIS は業界初のシングルカード・デュアルチップ FPGA ボード AliFPGAx2 を共同開発した。2 基の FPGA 間の Serdes 帯域幅は最大 600G に達する。サーバー上の 2 枚の AliFPGAx2 ボード間も、光ケーブル経由で高速 Serdes 相互接続が可能である。同時に、FaaS F3 は強力な相互接続トポロジーをユーザーに提供し、ユーザーは容易に FPGA クラスターを構築し、FPGA 相互接続を実現できる。順天シェルのシェルが高速 DMA のソフトウェアおよびハードウェアサポートを提供する。シングルカード 2 チップ相互接続、デュアルカード 4 チップ相互接続、8 カード 16 チップ相互接続をサポートし、相互接続チャネルはクラウドユーザーの異なるトポロジー要件に応じて、ソフトウェア経由でハードウェア分離パーティションを柔軟に設定できる。以下の図は典型的な 2 カード 4 チップ相互接続トポロジーを示している。

高性能コンピューティングは、低遅延・高帯域幅のコンピューティングノードで構成される並列コンピューティングクラスターである。並列計算により、浮動小数点集約型の科学工学モデルを解決でき、AI ディープラーニングモデルもその一つである。コンピューティングノードとして、DPCA ベアメタルサーバーは RoCE ネットワークカード経由でノード間の高速 MPI 通信を実現し、DPCA MOC カードで VPC、I/O、ネットワーク、クラウドディスクとの接続を行う。これにより、スーパーコンピューティングレベルの計算能力を出力しつつ、全ノードの「クラウドネイティブ」な柔軟性と統一された運用保守を維持できる。また、E-HPC PaaS プラットフォームを高性能コンピューティングのソフトウェアスタックとして独自に開発し、SCC クラスターの作成と管理を行う。同時に、独自の HPC プラットフォーム構築能力を持つ顧客にも SCC クラスターを直接提供している。

SCC トレーニングクラスター：大規模 AI トレーニングクラスター

AI 大規模トレーニングのコンピューティングパワー要件に対応するため、Alibaba はハードウェアからアルゴリズムまでの統合設計を行った。パフォーマンスの観点から、クラスター設計の核心の一つは、アクセラレータ間のデータ対話能力を向上させ、非コンピューティングオーバーヘッドの割合を削減し、コンピューティングパワーの規模線形拡張を実現することである。そのため、ヘテロジニアスクラスターシステムは通信の最適化を突破口として、サーバーとマシン全体のネットワークアーキテクチャを再定義し、まずハードウェアレベルで通信ボトルネックを解消し、次にソフトウェアとハードウェアの協調により強化された通信能力を最大限に引き出す。この部分の内部コードは EFlaps であり、AI トレーニングの線形高速化を実現している。関連する成果はトップ学術会議 HPCA2020 (https://www.csdn.net/article/a/2020-03-03/15988517) で発表された。現在、構築中のシステムの単一クラスター AI コンピューティングパワーは 500 PFlops (FP16 パフォーマンス) に達する。

さらに、液冷は AI クラスターアーキテクチャの進化を推進するもう一つの原動力である。消費電力の制約により、現在は 1 つのキャビネットに 8 カードサーバーを 2 台または 4 台しか収容できず、計算密度の向上が困難である。しかし、液冷はこの制約を突破できる。1 つのタンクに 100 枚以上の GPU カードを収容でき、電力、設置面積、ファイバーを節約し、安定性を向上させる。これに伴い、浸漬液冷タンクのサイズと排熱特性に合わせてクラスターアーキテクチャを再設計し、既に実験段階に入っている。

第三に、究極の性能を追求すると同時に、コンピューティングコストの最適化と、汎用コンピューティングとヘテロジニアスコンピューティングのデカップリング後の柔軟性も考慮している。

ヘテロジニアスハードウェアレイヤー仮想化

Alibaba IaaS の GPU 仮想化技術は、クラウド上の AI コンピューティングパワーの基盤である。Alibaba IaaS は既存のオープンソース GPU 仮想化技術に対して二次開発を行い、既存の GPU 仮想化ソリューションをパブリッククラウドのセキュリティ、高信頼性、モニタリングなどの重要な機能の改善に適したものにした。

パブリッククラウド GPU サーバーのセキュリティ分離において、Alibaba Cloud のヘテロジニアス IaaS レイヤーは、インスタンス内部ドライバーからの事前セキュリティフィルタリング、ホスト仮想化レイヤーによる GPU 特権命令のフィルタリングとインターセプト、ホスト PCIe プロトコルによるフォールトトレラント処理を完了し、顧客インスタンスが攻撃されないこと、および他の顧客を攻撃できないことを保証している。

現在、主流のヘテロジニアス仮想化は依然としてデバイスのパススルー形式で存在しており、これを基盤として、SRIOV や vGPU 分割仮想化などの最新技術が徐々に進化してきた。Alibaba IaaS は既存の GPU 仮想化技術に依拠して、AI クラスター (GPU/FPGA) のクラウド規模での展開とプロダクト出力を完了している。GPU 仮想化は長い道のりを経てきた。パススルー仮想化、SRIOV や vGPU の分割仮想化、Intel の GVT-G 技術などを経験している。

汎用コンピューティング時代には、仮想化は主に CPU 使用率を向上させるために導入されていたが、ホットアップグレードとホットマイグレーション技術の導入により、コンピューティングリソースのセキュリティと信頼性が新たなレベルに押し上げられた。GPU 仮想化技術は、GPU リソースの使用率向上とコンピューティングリソースのデフラグメンテーションにおいても重要な役割を果たしている。

パブリッククラウド GPU サーバーのモニタリングにおいて、Alibaba Cloud のヘテロジニアス IaaS レイヤーは GPU 関連のクラウドモニタリングスキームを構築しており、現在の GPU の稼働状況、温度、ビデオメモリ使用量などの情報をリアルタイムで取得でき、複数のモニタリングモードをカスタマイズできる。GPU カスタムモニタリングおよび GPU クラウドモニタリングプラグインを提供している。

パブリッククラウド GPU サーバーの高可用性において、Alibaba Cloud ヘテロジニアス IaaS レイヤーは独自の GPU サーバーホットアップグレードとホットマイグレーション機能を開発・配備している。インスタンスが所在するホストコンピューターで、システムソフトウェアの更新やハードウェアメンテナンスなどの運用保守作業が必要な場合、顧客に感知させることなくアップグレードと更新を行うことができ、顧客のビジネスの安定性と継続性を保証する。SRIOV と GRID vGPU のホットマイグレーション機能により、Alibaba Cloud は業界の第一梯队として競争をリードしている。

ヘテロジニアス GPU コンテナサポート (cGPU コンテナ AI コンピューティングパワー分離技術)

クラウドネイティブは業界のクラウドサービスのトレンドとなっている。クラウドネイティブ上でヘテロジニアスコンピューティングをどのようにサポートするか、および単一 GPU 上で複数のコンテナを実行して分離する方法は、業界でも模索されている。Nvidia vGPU、Nvidia MPS、他社の vCUDA ソリューションはいずれも、ユーザーがより細かい粒度で GPU を利用することを可能にしている。

Alibaba Cloud GPU チームは cGPU 昊天ソリューションをリリースした。これは他のソリューションと比較して画期的な革新である。業界の一般的なソリューションは CUDA ライブラリを置き換えてインターセプトを実現するが、これには静的リンクプログラムの再コンパイルが必要であり、CUDA のアップデートにも新版本への適応が必要である。一方、cGPU 昊天はコンピューティングパワーのスケジューリングとディスプレイメモリの分離を実現しつつ、CUDA 静的ライブラリと動的ライブラリの置き換えが不要で、再コンパイルも不要であり、CUDA、cuDNN などのバージョンをいつでも適応なしにアップデートできる。

cGPU は自社開発のホストカーネルドライバーである。その利点は以下の通りである。

Kubernetes と NVIDIA Docker ソリューションに適合したオープンソース標準

ユーザー側は透過的である。AI アプリケーションの再コンパイルは不要であり、CUDA ライブラリの置き換えも不要である。

NVIDIA デバイス向けの基盤操作はより安定的で収束性が高く、CUDA レイヤーの API は変更可能であり、cuDNN の一部の非公開 API は捕捉が容易でない。

同時に、GPU ビデオメモリとコンピューティングパワーの分離をサポートする。

現在、Alibaba Cloud GPU チームの cGPU 昊天ソリューションとコンテナサービスの GPU 共有スケジューリングの組み合わせにより、低コストで信頼性が高く、ユーザーフレンドリーな大規模 GPU スケジューリングと分離のソリューションを構築できる。

ソフトウェアプーリング

EAIS.EI：リソーススケジューリングレイヤープーリング

EAIS はソフトウェアプーリングを通じて、CPU コア数とバックエンドのヘテロジニアスアクセラレーションデバイスをデカップリングする。フロントエンドの純粋 CPU ECS は、バックエンドのヘテロジニアスアクセラレーションデバイスを動的にマウントまたはアンマウントできる。フロントエンド ECS とバックエンドのヘテロジニアスアクセラレーションデバイスは、暗号化された gRPC プロトコルを通じて通信する。バックエンドのアクセラレーションデバイスには GPU、FPGA、NPU などのヘテロジニアスアクセラレータを含むことができ、ソフトウェアプーリングを通じて統一的にスケジューリングと管理が可能である。

HARP：ランタイムレイヤープーリング

アクセラレーションクラスタープーリングの主な目的は、クラスターリソースの使用率を向上させることである。K8s などのクラスター管理は、アクセラレーションリソース管理の面で非常に限定的である。一般的にはパススルー方式でカード全体の強度で分配され、さらに CPU とアクセラレーションリソースは完全なマシン形式でリソース割り当てにバインドされるため、実際のアプリケーションでは大きなリソースの無駄が生じている。データセンターは分散化の傾向を示している。物理マシンから仮想マシン、仮想ネットワークカード、分散ストレージへと、マシン全体の各コンポーネントは専用キャビネット形式と仮想化・設定可能な形式でネットワークを通じて段階的に組み立てられるようになっている。ディスクと比較して、アクセラレーションリソースと汎用コンピューティングの接続はより密接である。しかし、技術の進歩に伴い、ネットワークやその他の相互接続形式を通じて汎用コンピューティング (CPU) を高速化することが技術トレンドとなっている。

Hertogenous accelerator resource pooling (HARP) は、現在 GPU を主要なアクセラレーションリソースとしており、将来的には NPU やその他のアクセラレーションハードウェアにも拡張される。ユーザープログラムとドライバーの間に中間レイヤー (現在はソフトウェア、将来的にはハードウェアにも拡張可能) を追加することでアクセラレーションリソースの仮想化を実現し、ローカルまたはリモートのアクセラレーションリソースをユーザーに動的に割り当て、アクセラレーションリソースの管理と活用を向上させる。

HARP 実装の利点は以下の通りである。

上位アプリケーションに対して透過的で、実行環境 (物理マシン、コンテナ、VM) に対する要件がない。

ローカルとリモート両方のアクセラレーションリソースをサポートする。ローカルモードと GPU の直接使用との間にパフォーマンスの差異はない。

コントロール API を使用して、シングルカード再利用時のビデオメモリとコンピューティングリソースを制御できる。

上位レイヤーのアプリケーションに対して基盤ハードウェアの詳細を隠蔽し、一部の基盤設定を自動化できる (ローカル物理 GPU/PCIE-switch で接続された別のホスト上の物理マシン/vGPU/次世代 GPU サポート/Compute Instance)。

追加のプロファイリング機能を実装でき、追跡可能なリプレイを生成することも可能である。

HARP リソースプールは他のアクセラレーションチップもサポートする必要があるため、統一インターフェイスの確立を目指している。このインターフェイスをサポートするチップは、最小限の作業量でリソースプールスケジューリングシステムに接続できる。そこで、上海交通大学と清華大学、および Cambrian などのチップメーカーと連携して、中国のヘテロジニアスリソースプール技術標準業界アライアンスを設立した。

ハードウェアレイヤープーリング

ソフトウェアプーリング技術のアップグレードとして、自社開発またはサードパーティのハードウェアプラグインカードを使用し、ラック内または小規模クロスラックの高速バス相互接続技術を通じて、汎用コンピューターと複数のアクセラレータをマッチングおよびデカップリングし、中規模アクセラレータプーリングと任意のアクセラレータの柔軟な組み合わせを実現する。同時に、アクセラレータカードのハードウェア障害処理における信頼性、operability、SLA の面でより優れたサービスを提供する。

リモートリソース - ローカルアクセス

最後に、「核高基」分野の技術研究開発に基づき、Alibaba Cloud の現在の IaaS および PaaS サービスは以下の特徴を有している。

設計目標は、コストパフォーマンスに優れたコンピューティングパワー供給のハードウェアコンピューティングインフラを構築し、プロダクトの多様性を実現することである。

主にソフトウェアとハードウェアの協調による技術の研究開発とレイアウトが、差別化された競争力と技術的把握力を形成している。

単一アクセラレータの断片的なコンピューティングパワー共有から大規模クラスターコンピューティングパワーまでの弾力的なコンピューティングパワーの提供能力が、構築すべきコアケイパビリティである。

SLA サービス能力は差別化され、高い信頼性を備えている。