E-MapReduce:クラスターリソース評価の提案

Kafkaクラスターに必要なハードウェアリソースには、多くの要因が影響します。一般的な要因には、ピークメッセージトラフィック、メッセージの平均サイズ、パーティションの数、レプリケーション係数、クライアントの数などがあります。Kafkaサービス以外の制御要因には、クラスターが使用されるビジネスシナリオやビジネスアプリケーションのパフォーマンスが含まれます。したがって、クラスターに必要なハードウェアリソースを評価する場合は、まず実際のビジネス規模を評価し、その結果をビジネスパラメーターとして使用して必要なリソースを評価する必要があります。 kafka-producer-perf-testやkafka-consumer-perf-testなどのツールを使用して、実際の負荷をシミュレートし、必要なハードウェアリソースをさらに評価できます。

マスターノードグループ (ZooKeeper)

マスターノードグループは、ZooKeeperサービスをインストールするために使用されます。さらに、Kafka Manager、Schema Registry、REST ProxyなどのKafkaエコシステムコンポーネントもマスターノードグループにインストールされます。

コアノードグループ (Kafka broker)

評価対象のビジネス要件

推奨ノード仕様

ブローカーの数

理想的なケースでは、Kafka ブローカーの最大トラフィックは、ディスクの最大 I/O スループットまたはノードの最大 NIC 帯域幅に達する可能性があります。したがって、必要なブローカーの数は、ピークデータトラフィックと各ノードの I/O スループットまたは NIC 帯域幅に基づいて計算できます。

• ノードのディスクパフォーマンスメトリックを計算する

  ノードのディスクスループット = ディスクのスループット × データディスクの数

  ディスクの理論上の I/O パフォーマンス値の詳細については、ブロックストレージのパフォーマンスを参照してください。たとえば、PL1 エンタープライズ SSD（ESSD）あたりの最大スループットは 350 MB/s です。ローカルディスクのディスクスループットに関連するメトリックは、理論値の半分に基づいて計算することをお勧めします。たとえば、ローカルディスクのディスクスループットは、ほとんどの場合 50 MB/s で評価されます。

• 必要なブローカーの数を計算する

  パーティションに 3 つのレプリカを構成する場合は、4 つ以上のブローカーを選択することをお勧めします。1 つのブローカーが一時的に使用できない場合でも、3 つのレプリカを持つパーティションを作成できます。ほとんどの場合、ハードウェアリソースの 50% を冗長化することをお勧めします。上記の 前提に基づいて、次の式を使用して必要なブローカーの数を計算できます。

  ブローカーの数 = Max(4, (クラスターの合計ピーク読み取りトラフィック + クラスターの合計ピーク書き込みトラフィック)/単一ノードのディスクスループット/50%)

  さらに、パーティションレプリカの制限を考慮して、各ブローカーに 2,000 以下のパーティションレプリカを構成することをお勧めします。ブローカーは最大 4,000 のパーティションレプリカを持つことができます。クラスター全体で最大 200,000 のパーティションレプリカを持つことができます。クラスター内のパーティションレプリカの合計数が大きいと評価される場合は、パーティションの合計数に基づいてブローカーの数を評価することをお勧めします。この場合、次の式を使用して必要なブローカーの数を計算できます。

  ブローカーの数 = Max(4, 評価されたパーティションの合計数 × パーティションレプリケーション係数/2,000)

• 各ブローカーのディスクサイズを評価する

  ブローカーあたりのディスクサイズ = データストレージ合計容量/ブローカーの数/ノードあたりのデータディスクの数/50%

(オプション) タスクノードグループ (Kafka Connect)

このノードグループはオプションです。クラスターの作成後、リソースの使用状況に基づいていつでもクラスターのサイズを変更できます。