クラスターは、ハイパフォーマンスコンピューティング (HPC) アプリケーションを実行するノードの集合体です。単一のノードでは提供できない強力なコンピューティング機能を提供します。クラスターは、高いパフォーマンス、スケーラビリティ、安定性、信頼性を備えています。このトピックでは、クラスターの基本概念と機能について説明します。
ノード
E-HPC クラスター内の各ノードは Elastic Compute Service (ECS) インスタンスです。ノードは機能に基づいて、ログインノード、管理ノード、コンピューティングノードに分類されます。次の表に、各ノードタイプの機能を示します。
ノード | 説明 |
ログインノード | クラスターにリモートログインするために使用するノードです。デバッグ、コンパイル、ソフトウェアのインストール、ジョブの送信などの操作を実行できます。 |
管理ノード | クラスターを管理するために使用するノードです。スケジューラサービスとドメインアカウントサービスをデプロイします。
重要 管理ノードは、ジョブ管理、スケジューリング、ドメインアカウントの解決を担当します。管理ノード上でソフトウェアをコンパイルしたり、データをアップロードまたはダウンロードしたり、データをパッケージ化したりしないでください。これにより、サービスの安定性を確保できます。 |
コンピューティングノード | HPC ジョブを実行するために使用するノードです。 |
次の表に、管理ノードの推奨構成と、異なる規模のクラスターにおけるジョブ数の推奨上限を示します。
クラスターの規模 | 管理ノードの推奨構成 | ジョブの推奨事項 |
コンピューティングノード数 ≤ 100 |
|
|
コンピューティングノード数 ≤ 500 |
|
|
コンピューティングノード数 > 500 |
|
|
イメージ
イメージは、クラスターのノードである ECS インスタンスに必要な情報を提供します。この情報には、オペレーティングシステムと関連する構成データが含まれます。E-HPC は次の種類のイメージをサポートしています：
パブリックイメージ：Alibaba Cloud が提供する公式イメージです。
カスタムイメージ：ECS インスタンスまたはスナップショットから作成したイメージ、またはインポートしたイメージです。
共有イメージ：別の Alibaba Cloud アカウントから共有されたイメージです。
Alibaba Cloud Marketplace イメージ：Alibaba Cloud Marketplace を通じてサードパーティの Independent Software Vendor (ISV) が提供するイメージです。
コミュニティイメージ：Alibaba Cloud のコミュニティイメージプラットフォームを通じてイメージプロバイダーが公開したイメージです。
利用可能なイメージは、選択したリージョンとゾーン、Alibaba Cloud アカウント内のイメージリソース、およびノード用に選択したインスタンスタイプによって異なります。利用可能なイメージはコンソールに表示されます。
サポートされるスケジューラ、ドメインアカウントサービス、共有ストレージの種類は、選択したイメージによって異なります。詳細については、「イメージでサポートされるスケジューラ、ドメインアカウントサービス、共有ストレージの一覧」をご参照ください。
詳細については、「イメージの概要」をご参照ください。
スケジューラ
スケジューラは、クラスター上でジョブをスケジューリングするソフトウェアです。E-HPC は次のスケジューラをサポートしています：
タイプ | スケジューラ | コンソールでの表示 |
PBS | PBS Pro19 | pbs19 |
PBS Pro18 | pbs 説明 インストールされるスケジューラソフトウェアのバージョンは、選択したイメージによって異なります。 | |
OpenPBS 20 | ||
OpenPBS 22 | ||
Slurm | Slurm 22 | slurm22 |
Slurm 20 | slurm20 | |
Slurm 19 | slurm19 | |
Slurm 17 | slurm | |
GridEngine | Open Grid Scheduler (SGE) | opengridscheduler |
Other | Deadline | deadline |
イメージによってサポートされるスケジューラは異なります。詳細については、「イメージでサポートされるスケジューラ、ドメインアカウントサービス、共有ストレージの一覧」をご参照ください。
ドメインアカウントサービス
ドメインアカウントサービスは、クラスターのユーザーを管理するために使用します。E-HPC は次の 2 つのドメインアカウントサービスをサポートしています：
NIS：NIS (Network Information Service) は、集中型の ID 管理サービスです。NIS サーバー上でユーザーを作成すると、各ノードに同じユーザーを作成しなくても、NIS ドメインに参加する新しいノードにこれらのアカウントでログインできます。
LDAP：LDAP (Lightweight Directory Access Protocol) は、E-HPC でユーザーの ID と権限を認証するために使用します。LDAP を使用してユーザーに権限を付与し、ユーザーをグループに追加することで、異なるアクセス権限を持つユーザーを作成できます。
イメージによってサポートされるドメインアカウントサービスは異なります。詳細については、「イメージでサポートされるスケジューラ、ドメインアカウントサービス、共有ストレージの一覧」をご参照ください。
共有ストレージ
E-HPC クラスターのユーザーデータ、スケジューラ情報、共有ジョブデータは、共有ファイルシステムに保存されます。これにより、クラスター内のすべてのノードがデータにアクセスできます。E-HPC は次の種類のファイルシステムをサポートしています：
NAS：汎用 NAS ファイルシステムと Extreme NAS ファイルシステムが含まれます。
CPFS：CPFS-NFS と CPFS-POSIX の両方のマウント方法をサポートします。
Other：自社構築の NAS ストレージシステムなど、Alibaba Cloud 以外のファイルストレージです。
イメージによってサポートされる共有ストレージの種類は異なります。詳細については、「イメージでサポートされるスケジューラ、ドメインアカウントサービス、共有ストレージの一覧」をご参照ください。
イメージでサポートされるスケジューラ、ドメインアカウントサービス、共有ストレージの一覧
サポートされるスケジューラ、ドメインアカウントサービス、共有ストレージの種類は、イメージによって異なります。次の表に、パブリックイメージのサポート状況を示します。
クラスターを作成する際に利用可能なイメージ、スケジューラ、ドメインアカウントサービスは、コンソールに表示されます。
次の表で Custom は、E-HPC がインストールを提供しないことを示します。コンポーネントはお客様自身でインストールする必要があります。
CentOS 6 と CentOS 8 は保守終了 (EOL) に達しています。Linux コミュニティはこれらのオペレーティングシステムのバージョンを保守していません。別のオペレーティングシステムへの切り替えを推奨します。詳細については、「EOL 後の CentOS 6 のリポジトリを切り替える方法」または「EOL 後の CentOS 8 のリポジトリを切り替える方法」をご参照ください。
パブリックイメージ | サポートされるスケジューラ | サポートされるドメインアカウントサービス | サポートされる共有ストレージ |
|
|
|
|
CentOS 8.0 64-bit | OpenPBS 20 | NIS |
|
CentOS 6.9 64-bit |
|
|
|
CentOS 6.10 64-bit | Custom | Custom |
|
Alibaba Cloud Linux 2.1903 LTS 64-bit | PBS Pro18 |
|
|
Alibaba Cloud Linux 3.2104 LTS 64-bit | Open Grid Scheduler (SGE) | NIS |
|
Alibaba Cloud Linux 3.2104 LTS 64-bit ARM version | Open Grid Scheduler (SGE) | NIS |
|
Ubuntu 20.04 64-bit | Slurm 22 | NIS |
|
Ubuntu 20.04 64-bit ARM version | Slurm 22 | NIS |
|
| Custom | Custom | Custom |
ユーザー
クラスターのユーザーを作成すると、クラスター上でジョブの送信、デバッグ、実行を行えます。権限が異なる 2 種類のユーザーを作成できます。
通常権限グループ：ジョブの送信とデバッグのみが必要な一般ユーザーに適しています。
sudo 権限グループ：クラスターを管理する必要がある管理者に適しています。ジョブの送信とデバッグに加えて、sudo コマンドを実行して、ソフトウェアのインストールやノードの再起動などの操作を行えます。
重要root ユーザーは、クラスターの初期化中にのみ作成できます。root ユーザーを使用してジョブを送信しないでください。これにより、ジョブスクリプト内の誤操作によって E-HPC クラスター内のデータが破損するのを防ぎます。
詳細については、「ユーザーの管理」をご参照ください。
ソフトウェア
E-HPC は、主要な科学技術計算アプリケーション、コンパイラのランタイムライブラリ、MPI (Message Passing Interface) ライブラリを提供します。必要に応じてインストールして使用できます。詳細については、「ソフトウェアの概要」をご参照ください。
クラスターの状態
[作成中]：クラスターを作成しています。ECS インスタンスがプロビジョニングされる初期状態です。
[インストール中]：クラスターにソフトウェアをインストールしています。
[初期化中]：クラスターを初期化しています。このプロセスには root ユーザーの初期化が含まれます。
[実行中]：クラスターが作成され、想定どおりに稼働しています。
[異常]：管理ノードが削除または停止された場合、またはスケジューラソフトウェアが終了した場合、クラスターは [異常] 状態になります。クラスターの修復を試行できます。修復に失敗した場合は、チケットを送信してください。
[リリース中]：クラスターをリリースしています。