E-MapReduce:Dataflow Kafka クラスターの作成

制限事項

E-MapReduce (EMR) バージョン 5.18.0 以降または 3.52.0 以降では、Kafka サービスはサポートされていません。 ApsaraMQ for Kafka を使用するか、手動で Kafka をインストールすることを推奨します。

注意事項

より詳細なサイジングの推奨事項については、「クラスターリソースの評価」をご参照ください。

操作手順

1. クラスター作成ページに移動します。

   1. E-MapReduce コンソールにログインします。

   2. オプション：上部メニューで、ビジネス要件に基づいてリージョンとリソースグループを選択してください。

      • リージョン：クラスターは選択したリージョンに作成されます。この設定は作成後に変更できません。

      • リソースグループ：デフォルトでは、アカウント内のすべてのリソースが表示されます。

   3. CREATE_CLUSTER をクリックします。

2. クラスターの設定を構成してください。

   クラスターの作成には、ソフトウェア、ハードウェア、および基本設定の構成が含まれます。

   重要

   クラスター作成後は、変更できるのはクラスター名のみです。続行する前に、すべての設定を慎重に確認してください。パラメーターの詳細については、「クラスターの作成」をご参照ください。

   1. ソフトウェア設定を構成します。

      パラメーター	例	説明
      [Region]	中国 (杭州)	クラスターが作成されるリージョンです。この設定は作成後に変更できません。
      [Business Scenario]	リアルタイムデータストリーミング	[Real-time Data Streaming] を選択してください。
      [Product Version]	EMR-3.43.1	EMR バージョンを選択すると、含まれているサービスのバージョンを表示できます。 たとえば、EMR-3.43.1 には Kafka 2.12_2.4.1 が含まれています。ここで、2.12 は Scala のバージョン、2.4.1 はオープンソースの Kafka のバージョンです。
      [High Service Availability]	On	このオプションはデフォルトでオフになっています。 重要 このオプションを有効にすると、マスターノードグループに 3 ノードの ZooKeeper サービスがデプロイされます。EMR の Kafka サービスは、その可用性を ZooKeeper に依存しているため、高可用性を有効にすることを推奨します。
      [Optional Services]	Kafka	[Kafka] サービスを選択してください。 要件に応じて他のコンポーネントを選択することもできます。選択したコンポーネントのサービスは自動的に開始されます。
      [サービス運用ログの収集を許可する]	On	この設定はデフォルトで有効になっており、すべてのサービスのログ収集を制御します。これらのログはクラスター診断にのみ使用されます。 クラスターが作成されると、基本情報 ページに移動して サービス実行ログの収集ステータス を変更できます。 重要 ログ収集を無効にすると、EMR ヘルスチェックとテクニカルサポートが制限されますが、他の機能は正常に機能します。この機能を無効にする方法とその影響の詳細については、「サービスログの収集を停止する方法」をご参照ください。

   2. ハードウェア設定を構成します。

      パラメーター	例	説明
      [支払いタイプ]	Pay-as-you-go	デフォルトの課金方法は Subscription です。次の課金方法を利用できます： [Pay-as-you-go]：後払いの課金方法で、使用したリソースに対して時間単位で課金されます。この方法は、短期的なテストや動的なワークロードに適しています。 [Subscription]：リソースの料金を前払いする課金方法です。 説明 テストにはPay-as-you-go オプションを使用することを推奨します。テストが成功したら、本番用に新しいSubscription クラスターを作成してください。
      [ゾーン]	中国 (杭州) ゾーン I	ゾーンは、同じリージョン内の個別の物理的な場所であり、内部ネットワークを介して相互接続されています。通常はデフォルトのゾーンを使用できます。
      [VPC]	emr_test/vpc-bp1f4epmkvncimpgs****	デフォルトで、既存の Virtual Private Cloud (VPC) が選択されています。 新しい VPC を作成するには、VPC コンソールに移動します。詳細については、「VPC の作成と管理」をご参照ください。
      [vSwitch]	vsw_test/vsw-bp1e2f5fhaplp0g6p****	選択した VPC の指定されたゾーンで vSwitch を選択してください。ゾーンに利用可能な vSwitch がない場合は、VPC コンソールで作成してください。詳細については、「VPC と vSwitch」をご参照ください。
      [Default Security Group]	sg-bp1ddw7sm2risw****/sg-bp1ddw7sm2risw****	デフォルトで、既存のセキュリティグループが選択されています。セキュリティグループの詳細については、「セキュリティグループの概要」をご参照ください。 create a new security group. をクリックして、ECS コンソールでセキュリティグループを作成することもできます。詳細については、「セキュリティグループの作成」をご参照ください。 重要 ECS コンソールで作成されたエンタープライズセキュリティグループはサポートされていません。
      [Node Group]	必要に応じて設定してください。	[インスタンスタイプ]：ニーズまたはサイジングの推奨事項に基づいてインスタンスタイプを選択します。サイジングの推奨事項については、「クラスターリソースの評価」をご参照ください。 [Add to Deployment Set]：高可用性が有効になっている場合、マスターノードはデフォルトでデプロイメントセットに追加されます。詳細については、「デプロイメントセットの有効化」をご参照ください。 [System Disk]：システムディスクのタイプを選択します。 [システムディスクサイズ]：値は 80 GiB～500 GiB の範囲ですが、最小 120 GiB を推奨します。 [データディスク]：データディスクのタイプを選択します。 説明 クラウドディスクを使用することを推奨します。 [データディスクサイズ]：値は 40 GiB～32,768 GiB の範囲ですが、最小 80 GiB を推奨します。 [Instances]：デフォルトでは、3 つのマスターインスタンスと 3 つのコアイスタンスが作成されます。 [Additional Security Group]：ノードグループに最大 2 つの追加のセキュリティグループを関連付けて、異なる外部リソースまたはアプリケーション間のアクセスを柔軟に制御できます。 [Assign Public Network IP]：クラスターに Elastic IP アドレスを関連付けるかどうかを指定します。これはデフォルトで無効になっています。 説明 クラスターの作成後にパブリックネットワーク経由でクラスターにアクセスする必要がある場合は、ECS コンソールで Elastic IP アドレス (EIP) を申請してください。詳細については、EIP の申請に関するドキュメントをご参照ください。

   3. 基本設定を構成します。

      基本情報 セクションで、次のパラメーターを設定してください。

      重要

      [Advanced Settings] セクションのパラメーターはサポートされていません。設定しないでください。

      パラメーター	例	説明
      [クラスター名]	Emr-Kafka	名前は 1～64 文字の長さで、英字、数字、ハイフン (-)、アンダースコア (_) を使用できます。
      [Identity Credentials]	カスタムパスワード	[Key Pair] (デフォルト)：SSH キーペアを使用して Linux インスタンスにログインします。 キーペアの使用方法の詳細については、「SSH キーペア」をご参照ください。
      		[Password]：パスワードを設定して、マスターノードインスタンスにログインします。 パスワードは 8～30 文字の長さで、大文字、小文字、数字、特殊文字を含める必要があります。 使用できる特殊文字：!、@、#、$、%、^、&、*。

3. Confirm ページで、E-MapReduce Terms of Service チェックボックスを選択してください。

4. create をクリックしてください。

   クラスターの Status が 実行中 に変わると、クラスターは正常に作成されました。