E-MapReduce:クラスターの作成

パラメーター

説明

[Region]

リージョンは、データセンターが配置されている地理的なエリアです。お客様の所在地に近いリージョンを選択すると、ネットワーク遅延を低減できます。クラスターの作成後にリージョンを変更することはできません。

[Business Scenario]

ビジネスニーズに基づいてシナリオを選択します。

• [Data Lake] ：ビッグデータコンピューティングエンジンを実行し、データ分析を行うための、柔軟で信頼性が高く効率的なマネージドクラスターを提供します。

  • データレイクアーキテクチャの構築をサポートし、JindoFS を使用してデータレイク操作を高速化します。

  • ストレージとして OSS-HDFS (フルマネージド HDFS) をサポートし、従量課金モデルで運用保守コストを削減します。

  詳細については、「DataLake クラスター」をご参照ください。

• [Data Analytics] ：ClickHouse や StarRocks などの OLAP 分析エンジンに、データインポートや外部テーブルなどの方法を使用して大量のデータセットをインポートします。ユーザープロファイリング、オーディエンスセグメンテーション、BI レポート、ビジネス分析などのビジネスシナリオにおいて、効率的でリアルタイムかつ柔軟なデータ分析を提供します。

• [Real-time Data Streaming] ：E-MapReduce (EMR) プラットフォーム上のオールインワンリアルタイムコンピューティングソリューションです。主に 2 つのコンポーネントで構成されています。分散型で高スループット、高スケーラビリティのメッセージングシステムである Kafka と、Ververica の Flink 商用カーネル (Apache Flink ベース) です。このソリューションは、エンドツーエンドのリアルタイムコンピューティングにおける課題解決に重点を置いており、リアルタイムデータ ETL やログ収集・分析に広く使用されています。各コンポーネントを個別に使用することもできます。

• [Data Service] ：

  • 柔軟で信頼性が高く効率的なデータサービスクラスターを提供します。

  • セミマネージド HBase クラスターを提供し、OSS-HDFS (JindoFS サービス) を使用してコンピューティングクラスターとデータストレージを分離します。

  • JindoData ローカルキャッシングをサポートし、データサービスクラスターの読み書き性能をさらに向上させます。

  詳細については、「DataServing クラスター」をご参照ください。

• [Custom Cluster] ：豊富なサービスの選択肢を提供します。要件に基づいて必要なサービスを選択できます。

  説明

  本番環境では、同じノードグループに複数のストレージサービスをデプロイしないことを推奨します。

[Product Version]

EMR 製品のリリースバージョンです。詳細については、「リリースバージョン」をご参照ください。

[High Service Availability]

この機能はデフォルトで無効になっています。高可用性を有効にすると、EMR は複数の Master ノードを作成し、ResourceManager と NameNode の高可用性をサポートします。これらのノードは、障害のリスクを低減するために、異なる基盤となるハードウェアに分散配置されます。

[Optional Services (Select One At Least)]

ビジネス要件に基づいて他のサービスを選択します。選択したサービスは、関連するプロセスを自動的に開始します。

[サービス運用ログの収集を許可する]

この設定はデフォルトで有効になっており、すべてのサービスのログ収集を制御します。これらのログはクラスター診断にのみ使用されます。

クラスターが作成されると、基本情報 ページに移動して サービス実行ログの収集ステータス を変更できます。

[Metadata]

メタデータの保存と管理には、以下の方法を利用できます。

• [DLF Unified Metadata] ：メタデータを Data Lake Formation (DLF) に保存します。

  DLF を有効にすると、システムはデフォルトの DLF Catalog (通常は UID) を選択します。クラスターごとに異なるカタログを使用するには、新しいカタログを作成します:

  1. Create Catalog をクリックします。 表示されるダイアログボックスで、カタログ ID を入力し、決定 をクリックします。

  2. DLF Catalog ドロップダウンリストから、作成したカタログを選択します。

• [Self-managed RDS] ：独自の RDS インスタンスまたは Alibaba Cloud RDS インスタンスをメタデータストレージとして使用します。

  この方法を選択する場合は、RDS 関連のパラメーターを設定する必要があります。詳細については、「セルフマネージド RDS データベースの設定」をご参照ください。

• [Built-in MySQL] ：クラスターの Master ノード上の MySQL データベースにメタデータを保存します。

  説明

  • テストシナリオでは ：DLF Unified Metadata の使用を推奨します。

  • 本番シナリオでは ：DLF Unified Metadata または Self-managed RDS を使用できます。

[クラスターストレージのルートパス]

このパラメーターは、OSS-HDFS サービスを選択した場合にのみ必要です。HDFS サービスを選択した場合は不要です。

初めて OSS-HDFS サービスを使用する場合、Alibaba Cloud アカウント (メインアカウント) は こちら をクリックし、プロンプトに従って承認を完了する必要があります。 RAM ユーザーの場合、Alibaba Cloud アカウントは、サービスの有効化を承認し、AliyunEMRDlsFullAccess ポリシー、AliyunOSSDlsDefaultRole ロール、および AliyunEMRDlsDefaultRole ロールを付与する必要があります。 詳細については、「RAM ユーザーに権限を付与する」をご参照ください。 OSS-HDFS サービスが既に有効になっている同じリージョン内のバケットを選択するか、OSS-HDFS インスタンスの作成 をクリックして、クラスターのルートストレージパスとして新しい OSS-HDFS インスタンスを作成します。

パラメーター

説明

[支払いタイプ]

デフォルトではサブスクリプションが選択されています。以下の課金方法に対応しています。

• [Pay-as-you-go]: 実際の使用量に基づいて時間単位で課金される後払い方式です。この方法は、短期テストや柔軟で動的なタスクに適しています。

• [サブスクリプション]: 利用前に支払う前払いモデルです。

  説明

  • テストシナリオでは、Pay-as-you-go を使用することをお勧めします。テストが成功したら、本番環境用に サブスクリプション クラスターを作成してください。

  • サブスクリプションインスタンスの場合、Subscription Duration を選択し、Auto-renewal を有効にするかどうかを決定する必要もあります。デフォルトの更新期間は 6 か月で、自動更新は有効になっています。自動更新が有効になっている場合、インスタンスは有効期限が切れる 7 日前に自動的に更新されます。詳細については、「更新」をご参照ください。

[可用性ゾーン]

アベイラビリティーゾーンは、リージョン内にある物理的に分離された場所で、低レイテンシーのプライベートネットワークで相互接続されています。通常、デフォルトのアベイラビリティーゾーンを使用できます。

[VPC]

Virtual Private Cloud (VPC) は、Alibaba Cloud 上にある論理的に分離されたネットワーク環境で、ネットワーク構成を完全に制御できます。

既存の VPC を選択するか、VPC の作成 をクリックして VPC コンソールですぐに VPC を作成します。 詳細については、「VPC の作成と管理」をご参照ください。

[vSwitch]

vSwitch は、VPC の基本的なネットワーク区画であり、さまざまなクラウドリソースを接続するために使用されます。

既存の vSwitch を選択するか、. Create vSwitch をクリックして VPC コンソールですぐに vSwitch を作成します。詳細については、「vSwitch の作成と管理」をご参照ください。

vSwitch の CIDR ブロックのサイズによって、使用可能な IPv4 アドレスの数が決まります。たとえば、/24 CIDR ブロックでは約 250 個の使用可能な IP アドレスが利用でき、/20 ブロックでは約 4,090 個、/17 ブロックでは約 32,764 個が利用できます。クラスターに多数のノードが必要な場合は、すべてのクラスターノードに十分な IP アドレスを割り当てられるように、より大きな CIDR ブロックを持つ vSwitch を選択してください。

vSwitch の作成後に CIDR ブロックを変更することはできません。より大きな IP アドレス範囲が必要な場合は、より大きな CIDR ブロックを持つ新しい vSwitch を作成し、その vSwitch に基づいて新しいクラスターを作成する必要があります。vSwitch を作成する際、コンソールには選択した CIDR ブロックで使用可能な IP アドレスの数が表示されるため、クラスターサイズの要件を満たしているかどうかを評価しやすくなります。

[Default Security Group]

セキュリティグループは、グループ内のインスタンスのインバウンドトラフィックとアウトバウンドトラフィックを制御する仮想ファイアウォールです。詳細については、「セキュリティグループの概要」をご参照ください。

既存のセキュリティグループを選択するか、create a new security group. をクリックして ECS コンソールで作成します。 詳細については、「セキュリティグループの作成」をご参照ください。

[Node Group]

要件に合わせてインスタンスタイプを選択できます。詳細については、「インスタンスファミリー」をご参照ください。

• [Master]: ResourceManager や NameNode などのコントロールプレーンサービスを実行します。

• コア: クラスターの分散ファイルシステム (HDFS) にデータを格納します。また、クラスターの作成後に、必要に応じてコアノードをスケールアウトすることもできます。

• タスク: 追加のコンピューティング能力を提供し、データを保存しません。このノードグループは任意であり、コンピューティングリソースを拡張するために追加できます。

  重要

  タスクノードグループは、従量課金、プリエンプティブルインスタンス、サブスクリプションの課金方法をサポートしています。

• [Add to Deployment Set]: 高可用性を有効にすると、マスターノードはデフォルトでデプロイメントセットに追加されます。 デプロイメントセットは、インスタンスの分散を制御するポリシーです。 詳細については、「デプロイメントセット」をご参照ください。

• [System Disk]：必要に応じて、標準 SSD、拡張 SSD (ESSD)、またはウルトラディスクを選択します。必要に応じてシステムディスクサイズを調整します。

• [Data Disk]：必要に応じて、標準 SSD、拡張 SSD (ESSD)、またはウルトラディスクを選択し、データディスクサイズを調整します。

  説明

  拡張 SSD (ESSD) を選択する場合、ディスク容量に基づいて異なるパフォーマンスレベル (PL) を設定し、さまざまなクラスターのパフォーマンス要件に対応できます。デフォルトのパフォーマンスレベルは PL1 です。ディスク容量に応じて、システムディスクは PL0、PL1、PL2 に、データディスクは PL0、PL1、PL2、PL3 に対応しています。クラウドディスクの詳細については、「クラウドディスクの概要」をご参照ください。

• [Instances]: マスターノードグループには、デフォルトで 1 つのインスタンスがあります。高可用性が有効な場合、複数のマスターインスタンスを持つことができます。

  コアノードグループには、デフォルトで 2 つのインスタンスがあります。必要に応じてこの数を調整できます。

• [Additional Security Group]：追加のセキュリティグループを使用すると、異なる外部リソースまたはアプリケーション間で柔軟なアクセス制御が可能になります。このノードグループには、最大 2 つの追加のセキュリティグループを関連付けることができます。

• [Assign Public Network IP]：クラスターに Elastic IP (EIP) アドレスを割り当てるかどうかを指定します。 デフォルトでは無効になっています。 DataLake クラスターのみが、ノードグループレベルでのパブリック IP の割り当てをサポートします。

  説明

  この機能を有効にせず、クラスターの作成後にパブリック IP アドレスを使用してクラスターにアクセスする場合は、ECS コンソールで申請する必要があります。詳細については、「EIP の申請」をご参照ください。

[クラスターのスケーリング]

必要に応じて自動スケーリングルールを選択できます。

• [Auto Scaling ルールを使用しない] (デフォルト).

• [カスタム Auto Scaling ルール]: 時間ベースまたは負荷ベースの自動スケーリングのカスタムルールを定義できます。 詳細については、「カスタム自動スケーリングルールを作成する」をご参照ください。

• [マネージド Auto Scaling ルール]: クラスターを起動すると、EMR はマネージドスケーリングルールに基づいてタスクノード数を事前にプロビジョニングします。 詳細については、「マネージド自動スケーリングルールを作成する」をご参照ください。

パラメーター

説明

[クラスター名]

クラスターの名前です。名前は 1～64 文字で、中国語、英字、数字、ハイフン (-)、アンダースコア (_) のみを使用できます。

[Identity Credentials]

Identity Credentials は、クラスターのマスターノードへの安全なアクセスを提供します。ログオン手順については、「クラスターにログオンする」をご参照ください。次の認証情報タイプがサポートされています:

• [Key Pair] (デフォルト): 既存のキーペアを選択するか、Create Key Pair をクリックしてすぐに作成します。

  キーペアは、パブリックキーとプライベートキーで構成され、Linux インスタンスへのログオンのための安全で便利な認証方法です。キーペアの使用方法の詳細については、「SSH キーペア」をご参照ください。

• [Password]: マスターノードのログオンパスワードを設定し、確認します。デフォルトのユーザー名は root です。

  • パスワードの要件：8～30 文字で、大文字、小文字、数字、特殊文字を含む必要があります。

  • サポートされている特殊文字：感嘆符 (!)、アットマーク (@)、ハッシュ記号 (#)、ドル記号 ($)、パーセント記号 (%)、キャレット (^)、アンパサンド (&)、アスタリスク (*)。