Alibaba Cloud Elastic High Performance Computing E-HPC Product Introduction

はじめに：2022 年 9 月 20 日、「Alibaba Cloud EDA クラウドソリューション」プログラムが正式に開始されました。Alibaba Cloud の 3 名の専門家が、複数の視点から Alibaba Cloud がチップ設計を「クラウドハイウェイ」にいかに導くかを紹介しました。Alibaba Cloud 高性能コンピューティングのシニア技術専門家である何栄輝が、Alibaba Cloud Elastic High Performance Computing (E-HPC) 製品紹介をテーマに講演しました。以下にその講演内容をまとめます。

1、Elastic High Performance Computing (E-HPC) 製品概要

1. E-HPC 製品設計の出発点

Elastic High Performance Computing (E-HPC) は、お客様がクラウド上で迅速に HPC 環境を構築し、クラウドサービスの利点を十分に活用できるように設計されています。

E-HPC の製品設計では、主に以下の 3 つの観点を考慮しています。

・HPC ユーザーの認識に合わせたクラウドスーパーコンピューティング環境の構築：HPC ユーザーが認識する HPC 環境とは、対応するソフトウェアがデプロイされた密結合クラスターであり、個々のサーバーやストレージネットワークの集合ではありません。

・HPC ユーザーの習慣に合わせたスーパーコンピューティングサービスの提供：HPC の利用において、お客様には長期的かつ固定された業務ワークフローがあり、クラウドサービスはその既存の運用プロセスに適合する必要があります。

・統合サービス機能による新たなモデルと体験の提供：クラウドサービスの特徴を活かし、オンプレミスの HPC では一般的でない、または実現不可能なモデルを提供することで、クラウドスーパーコンピューティング独自の特性を形成します。

2. HPC 製品ソリューションビュー

・クラスターリソースのライフサイクル管理：クラスターの作成、クラスターの拡張、アプリケーション負荷に基づく自動スケーリング、クラスターの管理および運用保守を含みます。

・クラスタージョブの管理とスケジューリング：スケジューラの管理と設定、ジョブスケジューリング、ワークロードのモニタリングとレポート、サードパーティスケジューラとの統合、クラウド上とクラウド外のハイブリッドスケジューリングを含みます。

・ISV アプリケーションソフトウェアおよび運用環境管理：アプリケーションソフトウェアのデプロイ、クラスターアカウント管理、および Estack を含みます。

・E-HPC パフォーマンスサービス：パフォーマンスデータの可視化、パフォーマンス分析と最適化、およびデータキャッシングを含みます。

最後に、OpenAPI を通じてサービスポータルが提供され、ユーザーはクラウドデスクトップまたはローカルクライアントから E-HPC サービスを利用できます。

2、E-HPC 製品機能

E-HPC の主な機能は、クラスター管理、自動スケーリング、ビジネスレポート、パフォーマンス分析の 4 つです。

クラスター管理：お客様がクラウド IaaS リソースを HPC クラスターの形式で整理して利用できるように支援します。具体的には以下を含みます。

・クラスターリソース管理

・クラスターユーザー管理

・クラスタージョブおよびスケジューラ管理

・クラウド上およびクラウド外リソースへのアクセス

自動スケーリング：HPC ワークロードの実際の需要に応じてクラスターリソースを動的にスケーリングします。具体的には以下を含みます。

・ジョブ負荷の検出と統計

・リソースのスケジューラ登録 / 除外

・多次元なスケーリング戦略

ビジネスレポート：HPC クラスターレベルの業務データを監視し、時系列グラフと統計レポートを作成します。具体的には以下を含みます。

・HPC 操作のリアルタイムモニタリングと統計

・HPC クラスターリソースのモニタリングと統計

・ジョブ / リソース操作イベントの通知とアラーム連携

パフォーマンス分析：HPC ジョブに対するハードウェアレベル、プロセスレベル、関数レベルのパフォーマンス分析とパフォーマンスレポートを提供します。具体的には以下を含みます。

・HPC 操作のパフォーマンスモニタリング

・HPC 操作のパフォーマンス分析

1. E-HPC クラスター管理

E-HPC は、クラスターリソースの作成、デプロイ、およびクラスターノードの状態管理など、クラスター管理サービスを提供します。

図に示すように、左側は一般的なクラスター構成図で、ヘッダーノード、コンピュートノード、およびファイルストレージを含みます。右側はこのクラスターをクラウドにマッピングしたものです。Alibaba Cloud のサービスコンポーネント（ECS インスタンス、GPU インスタンス、Wuying クラウドデスクトップ）を組み合わせることで、E-HPC コンソールでワンクリックでクラスターを作成できます。

E-HPC の管控サービスは、お客様が指定されたリージョン内の 1 つ以上のクラスターを管理し、クラスターの状態を監視し、レポート作成、アラーム、パフォーマンス分析などの業務を実行できるように支援します。

2. E-HPC クラスターリソース拡張

E-HPC のクラスターリソース拡張には、手動拡張と自動拡張の 2 種類があります。

・手動拡張：ユーザーが必要なリソースの種類と数量を指定して直接拡張します。E-HPC は対応するリソースの作成、関連ソフトウェアのデプロイ、スケジューラの該当キューへの追加、リソース状態の可用性設定を担当します。縮小時も、スケジューラの対応する設定が完了し、関連するコンピュートノード情報がスケジューラからクリアされます。

・自動スケーリング：スケジューラと連携して動作します。自動スケーリングのトリガーにユーザーの直接操作は不要です。ユーザーは自動スケーリングポリシーを設定するだけでよく、E-HPC がスケジューラと連携してワークロードを感知し、設定されたポリシーに従ってスケーリングを実行します。

自動スケーリングのベストプラクティス：https://help.aliyun.com/document_detail/257919.html

負荷検知：

・並列リソース要件の検知：コア数、ノード数、メモリ、GPU など

・並列管理要件の検知：拡張が必要なキューと仮想ノード

・しきい値制限：ユーザーリソース上限、クラスターリソース上限、キューリソース上限など

・スケジューリング戦略：スケジューリング優先度、ジョブ間の依存関係制約など

E-HPC は複数のスケーリング戦略を提供します。具体的には以下を含みます。

・拡張インスタンスタイプの優先度

・クロス AZ / クロスリージョン

・キュー単位のスケーリング

・バッチでのスケーリング

・スケーリングの待機時間

・リザーブドインスタンス

・待機時間 / 待機戦略の自動復旧

・コスト最適化

・在庫戦略

・……

3. E-HPC クラスターイベントモニタリングとビジネスレポート

E-HPC サービスは HPC スケジューラと密接に連携しているため、スケジューラレベルおよびジョブレベルの詳細なイベントからモニタリングデータとレポートデータを生成できます。これにより、ユーザーは業務状況を分析し、ボトルネックを把握し、業務プロセスを最適化できます。

イベントベースのスケーリング水位オーバーロードアラーム：https://help.aliyun.com/document_detail/450081.html

4. E-HPC ハイブリッドクラスター方式（クラウド管控主体）

クラウド管理と制御を主体としたネットワーク設定では、E-HPC がオンプレミスデータセンターのヘッダーノードとオンプレミススケジューラを接続し、スケジューラの負荷に応じたクラウドリソースのスケーリング機能を実現します。

同様に、お客様は手動でスケーリングすることも選択できます。E-HPC はお客様のニーズに応じてクラウド上のコンピュートノードを拡張し、オンラインでダウンサイジングを追加します。

エージェントモードアーキテクチャ図

a. 方式の特徴：

・一貫した運用習慣：既存のオンプレミス HPC クラスターをそのまま利用でき、ユーザーの既存の運用習慣やスケジューラスクリプトを変更する必要がありません。

・ワンクリック作成：クラウド上でワンクリックで E-HPC クラスターを作成し、プロキシノードがクラウドリソースを生成・管理し、クラウドの自動スケーリングとレポートサービスを統合します。

・弾力的なスケーラビリティ：ビジネスのピーク時にはオンラインリソースを拡張し、従量課金で利用できます。ビジネスのオフピーク時にはオンラインリソースを自動リリースしてコストを削減します。

b. 適用シナリオ：

既存のオンプレミスデータセンターの HPC クラスターを継続して利用し、ビジネスのピークと谷に応じてクラウドリソースを柔軟に拡張・リリースすることで、リソースの迅速な供給とコスト削減を実現します。

ハイブリッドクラウドクラスターの作成：https://help.aliyun.com/document_detail/84850.html

5. E-HPC ハイブリッドクラスター方式（クラウド管控優先）

クラウド管理と制御を主体としたネットワーク設定はサブノード方式と呼ばれます。クラウド HPC クラスターをメインクラスターとし、ヘッダーノードとログインノードはすべてクラウド上に配置され、オンプレミスノードは補助およびレガシーノードとして使用されます。

マスターコントロールモードアーキテクチャ図

a. 方式の特徴：

・クラウド側での運用保守：クラウド E-HPC による管理と制御、HPC スケジューラレベルのリソース管理により、オンプレミスクラスターの運用保守コストを削減します。

・マネージドクラウド：クラウド上でワンクリックで E-HPC クラスターを作成し、オンプレミスのコンピューティングリソースを管理対象とし、既存のオンプレミス機器を活用します。

・弾力的なスケーラビリティ：ビジネスのピーク時にはオンラインリソースを拡張し、従量課金で利用できます。ビジネスのオフピーク時にはオンラインリソースを自動リリースしてコストを削減します。

b. 適用シナリオ：

既存のオンプレミスデータセンターの HPC クラスターリソースが老朽化しており、クラウドリソースを柔軟に活用して段階的にクラウドへ移行し、オンプレミスのコンピューティングリソースも管理することで、効果的にコストを削減します。

ハイブリッドクラウドマスターモードのベストプラクティス：https://help.aliyun.com/document_detail/451757.html

6. E-HPC クラスタースケジューラ互換性方式

E-HPC はスケジューラプラグインをプラットフォームの拡張コンポーネントとして提供します。E-HPC の既存のスケジューラタイプまたはバージョンが現在の業務要件を満たさない場合、お客様はプラグインを通じてカスタマイズされたスケジューラを構築し、E-HPC プラットフォームにアクセスできます。

プラグインメカニズムを通じて、サードパーティ / 商用スケジューラとの統合を実現します。

・E-HPC コントロールプレーンはプラグインフレームワークインターフェイスを通じてクラスター管理を実行します。ジョブ管理、リソース管理、負荷モニタリング、スケーリングなどを含みます。

・カスタムプラグインコードはプラグインフレームワークで定義された関数を実装し、スケジューラとのアダプテーションを完了します。

・E-HPC のクラスター作成プロセスはカスタムプラグインのインストールとデプロイをサポートします。

・設定ファイルを通じてプラグインがサポートする機能を設定できます。

・E-HPC はプラグインテンプレートおよび PBS や LSF などのサンプルスケジューラプラグインを提供します。