E-MapReduce:クラスターの作成

設定

説明

Region

リージョンはデータセンターが所在する地理的エリアです。ネットワーク遅延を減らすために、近接したリージョンを選択してください。インスタンス作成後にリージョンを変更することはできません。

[リージョン] ドロップダウンリストから、EMR インスタンスの物理的な場所を選択します。

Business Scenario

実際のニーズに基づいてシナリオを選択します。

• Data Lake: ビッグデータコンピュートエンジンを実行し、優れたデータ分析機能を提供できる、柔軟で信頼性が高く、効率的なクラスターを提供します。

  • データレイクアーキテクチャの構築をサポートし、データレイクの高速化に JindoFS を使用します。

  • ストレージとして OSS 上の Hadoop 分散ファイルシステム (HDFS) (フルマネージド HDFS) をサポートします。これにより、運用保守コストが削減され、使用量に基づいて課金されます。

  詳細については、「DataLake クラスター」をご参照ください。

• Data Analytics (OLAP)：外部テーブルをインポートまたは使用して、ClickHouse や StarRocks などのオンライン分析処理 (OLAP) エンジンに大量のデータをロードします。これにより、ユーザーペルソナ、オーディエンスセグメンテーション、BI レポート、ビジネス分析などのシナリオで、効率的、リアルタイム、かつ柔軟なデータ分析が可能になります。

• Real-time Data Streaming (DataFlow): EMR プラットフォーム上のワンストップのリアルタイムコンピューティングソリューションです。これには、分散型で高スループットかつスケーラブルなメッセージングシステムである Kafka と、公式 Apache Flink プロダクトをベースにした Ververica の商用 Flink カーネルという 2 つの主要コンポーネントが含まれます。さまざまなエンドツーエンドのリアルタイムコンピューティングの問題解決にフォーカスしており、リアルタイムの抽出・変換・書き出し (ETL) やログの収集と分析などのシナリオで広く使用されています。どちらかのコンポーネントを個別に使用することもできます。

• Data Service (DataServing):

  • 柔軟で信頼性が高く、効率的なデータサービスクラスターを提供します。

  • セミマネージドの HBase クラスターを提供し、OSS-HDFS (JindoFS) サービスに基づいて計算クラスターとデータストレージを分離できます。

  • JindoData ローカルキャッシュをサポートし、データサービスクラスターの読み書き性能をさらに向上させます。

  詳細については、「DataServing クラスター」をご参照ください。

• Custom Cluster: 豊富なサービスの組み合わせを提供します。必要に応じてサービスを選択します。

  説明

  本番環境では、同じノードグループに複数のストレージサービスをデプロイしないでください。

Product Version

EMR 製品のリリースバージョンです。詳細については、「リリースバージョン」をご参照ください。

High Service Availability

この機能はデフォルトで無効になっています。高可用性を有効にすると、EMR は複数のマスターノードを作成して、ResourceManager と NameNode の高可用性をサポートします。EMR は、障害のリスクを軽減するために、これらのノードを異なる基盤ハードウェアに分散させます。

Optional Services (Select One At Least)

必要に応じて他のサービスを選択します。選択したサービスの関連サービスプロセスは、デフォルトで開始されます。

サービス運用ログの収集を許可する

ワンクリックですべてのサービスのログ収集を有効または無効にできます。この機能は、サービス運用ログを収集するためにデフォルトで有効になっています。これらのログは、クラスターの診断にのみ使用されます。

クラスターの作成後、Basic Information ページで サービス実行ログの収集ステータス を変更します。

Metadata

メタデータは、次の方法で保存および管理できます。

• DLF Unified Metadata (推奨): メタデータは Data Lake Formation (DLF) に保存されます。

  DLF を有効化すると、システムによってデフォルトの DLF Catalog が選択されます。デフォルトのカタログは、お客様の UID です。クラスターごとに異なるデータカタログを使用する場合は、次のように新しいカタログを作成します。

  1. Create Catalog をクリックします。表示されるダイアログボックスで、カタログ ID を入力し、OK をクリックします。

  2. DLF Catalog ドロップダウンリストから、作成したデータカタログを選択します。

• Self-managed RDS: お客様が管理するインスタンスまたは Alibaba Cloud RDS インスタンスをメタストアとして選択できます。

  このオプションを選択した場合は、RDS 関連のパラメーターを設定します。詳細については、「セルフマネージド RDS データベースの設定」をご参照ください。

• Built-in MySQL（非推奨）：メタデータは、クラスターのローカル環境の MySQL データベースに保存されます。

  説明

  • テストシナリオ： DLF Unified Metadata を使用します。

  • 本番シナリオ: DLF Unified Metadata または Self-managed RDS を使用します。

クラスターストレージのルートパス

このパラメーターは、オプションサービスセクションで OSS-HDFS サービスを選択した場合に設定します。HDFS サービスを選択した場合は、このパラメーターは不要です。

初めて OSS-HDFS サービスを使用する場合、Alibaba Cloud アカウントは こちら をクリックし、プロンプトに従って権限付与を完了する必要があります。 Resource Access Management (RAM) ユーザーの場合、Alibaba Cloud アカウントは、サービスを有効化するための権限付与を行い、AliyunEMRDlsFullAccess 権限、ならびに AliyunOSSDlsDefaultRole および AliyunEMRDlsDefaultRole ロールを付与する必要があります。 詳細については、「RAM ユーザーに権限を付与する」をご参照ください。 同一リージョンで OSS-HDFS サービスが有効化されているバケットを選択するか、OSS-HDFS インスタンスの作成 をクリックしてプロンプトに従い、クラスターのルートストレージパスとして OSS-HDFS インスタンスを作成します。

設定

説明

支払いタイプ

デフォルトの課金方法はサブスクリプションです。次の課金方法がサポートされています。

• Pay-as-you-go: 使用後に支払う後払い方式です。実際の使用時間に対して 1 時間ごとに課金されます。このメソッドは、短期間のテストタスクや柔軟で動的なタスクに適しています。

• サブスクリプション：使用前に支払いを行う前払い方式です。

  説明

  • テストシナリオでは Pay-as-you-go を使用し、テストが成功した後に本番用として新しい サブスクリプション クラスターを作成します。

  • サブスクリプションインスタンスの場合は、Subscription Duration を選択し、Auto-renewal を有効にするかどうかも選択します。デフォルトの更新期間は 6 か月で、自動更新は有効になっています。自動更新が有効になっている場合、自動更新操作はインスタンスの有効期限が切れる 7 日前に実行されます。詳細については、「更新ポリシー」をご参照ください。

Zone

ゾーンは、同一リージョン内の異なる物理エリアです。同一リージョン内のゾーンは、内部ネットワークを介して相互に通信できます。通常はデフォルトのゾーンを使用できます。

VPC

Virtual Private Cloud (VPC) は、Alibaba Cloud で定義する分離されたネットワーク環境です。VPC を完全に制御できます。

既存の VPC を選択するか、VPC の作成 をクリックして VPC コンソールに移動し、VPC を作成します。 詳細については、「VPC の作成と管理」をご参照ください。

vSwitch

vSwitch は、異なるクラウドリソースを接続する VPC の基本的なネットワークモジュールです。

既存の vSwitch を選択するか、. Create vSwitch をクリックして VPC コンソールに移動し、vSwitch を作成します。 詳細については、「vSwitch の作成と管理」をご参照ください。

Default Security Group

セキュリティグループは、セキュリティグループ内のインスタンスのインバウンドおよびアウトバウンドトラフィックを制御する仮想ファイアウォールです。詳細については、「セキュリティグループの概要」をご参照ください。

既存のセキュリティグループを選択するか、create a new security group. をクリックして ECS コンソールに移動し、新しいセキュリティグループを作成します。 詳細については、「セキュリティグループの作成」をご参照ください。

Node Group

必要に応じてインスタンスタイプを選択します。詳細については、「インスタンスファミリー」をご参照ください。

• [マスター]：主に ResourceManager や NameNode などの制御プロセスをデプロイする役割を担います。

• [コア]：主にクラスターのすべてのデータを保存する役割を担います。クラスター作成後に必要に応じてコアノードをスケールアウトすることもできます。

• [タスク]：データを保存しません。クラスターの計算能力を調整するために使用されます。これはデフォルトで無効になっていますが、必要に応じて設定できます。

  重要

  タスクノードグループでサポートされている課金方法は、従量課金、スポットインスタンス、サブスクリプションです。

• Add to Deployment Set: 高可用性が有効になると、マスターノードはデフォルトでデプロイメントセットに追加されます。デプロイメントセットは、インスタンスの配置を制御するポリシーです。詳細については、「デプロイメントセット」をご参照ください。

• System Disk: 必要に応じて、標準 SSD、ESSD (エンタープライズ SSD)、または Ultra ディスクを選択し、システムディスクサイズを調整します。

• Data Disk: 必要に応じて、標準 SSD、ESSD、または Ultra ディスクを選択し、データディスクサイズを調整します。

  説明

  ESSD を選択する場合、選択したディスクの容量に基づいて異なるパフォーマンスレベル (PL) を設定し、さまざまなクラスターパフォーマンス要件を満たすことができます。デフォルトのパフォーマンスレベルは PL1 です。ディスク容量の範囲に基づいて、システムディスクは PL0、PL1、PL2 の ESSD 仕様をサポートし、データディスクは PL0、PL1、PL2、PL3 の ESSD 仕様をサポートします。クラウドディスクの詳細については、「クラウドディスクの概要」をご参照ください。

• Instances: Master ノードグループには、デフォルトで 1 つのインスタンスがあります。高可用性が有効な場合、複数の Master インスタンスを持つことができます。

  コアノードグループには、デフォルトで 2 つのインスタンスがあります。必要に応じてこの数を調整できます。

• Additional Security Group: 追加のセキュリティグループを使用すると、異なる外部リソースまたはアプリケーション間のアクセスを柔軟にカスタマイズできます。このノードグループには、最大 2 つの追加のセキュリティグループを関連付けることができます。

• Assign Public Network IP: クラスターに Elastic IP アドレス (EIP) を割り当てるかどうかを指定します。デフォルトでは無効になっています。ノードグループレベルでのパブリック IP の割り当ては、DataLake クラスターでのみサポートされています。

  説明

  この機能を有効にせず、作成後にパブリック IP アドレスを使用してクラスターにアクセスしたい場合は、ECS でパブリック IP アドレスを申請してください。詳細については、「EIP の申請」をご参照ください。

クラスターのスケーリング

必要に応じてスケーリングルールを選択します。

• Auto Scaling ルールを使用しない (デフォルト)。

• カスタム Auto Scaling ルール: カスタム Auto Scaling ルールを作成して、時間または負荷に基づく自動スケーリングを有効にします。 詳細については、「カスタム Auto Scaling ルールを作成する」をご参照ください。

• マネージド Auto Scaling ルール: クラスターの起動時に、EMR はマネージドスケーリングルールに基づいてタスクノード数を事前に割り当てます。詳細については、「マネージド Auto Scaling ルールを作成する」をご参照ください。

設定項目

説明

Cluster Name

クラスターの名前です。名前は 1～64 文字で、漢字、英字、数字、ハイフン (-)、アンダースコア (_) を使用できます。

Identity Credentials

Identity Credentials は、クラスターのマスターノードに安全にログインするために使用されます。ログイン操作については、「クラスターにログインする」をご参照ください。以下の ID がサポートされています。

• Key Pair (デフォルト): 既存のキーペアを選択するか、Create Key Pair をクリックしてすぐに作成します。

  キーペアは、公開鍵と秘密鍵で構成される、安全で便利なログイン認証方式です。Linux インスタンスでのみサポートされています。キーペアの使用方法の詳細については、「SSH キーペア」をご参照ください。

• Password: マスターノードのログインパスワードを設定して確認します。デフォルトのユーザー名はルートです。

  • パスワードのルール： 長さは 8～30 文字で、大文字、小文字、数字、特殊文字を含む必要があります。

  • 特殊文字は次のとおりです：感嘆符 (!)、アットマーク (@)、番号記号 (#)、ドル記号 ($)、パーセント記号 (%)、キャレット (^)、アンパサンド (&)、アスタリスク (*)。