ApsaraMQ for Kafka:クラスターリソース仕様評価

構成アーキテクチャ

Cloud MSMQ Confluent は、さまざまなデータソースからのデータを整理および管理できるストリーミングデータプラットフォームです。安定した効率的なシステムです。 Kafka Broker、Rest Proxy、Connect、Zookeeper、ksqlDB、Control Center の 6 つのコンポーネントで構成されています。

クラスターリソース評価

Kafka ブローカー

• まず、ビジネス要件を評価する必要があります。要件パラメーターは、次の表に一覧表示されています。

  要件パラメーター	説明
  ファンアウト係数	書き込まれたデータがコンシューマーによって消費される回数。ブローカーの内部レプリカのレプリケーショントラフィックは含まれません。
  ピークデータ流入量	ビジネスデータのピークトラフィック。単位：MB/秒。
  平均データ流入量	ビジネスデータの平均トラフィック。単位：MB/秒。
  データ保持期間	データ保持期間。デフォルト値：7。
  パーティションレプリカ係数	パーティションレプリカ係数。デフォルト値：3。各パーティションには 3 つのレプリカがあります。

• ブローカーノード数の推定：理想的には、単一の Kafka ブローカーは最大 100 MB/秒のトラフィックをサポートできます。本番クラスターには少なくとも 4 つのブローカーノードが必要であり、50% の I/O 帯域幅リソースを冗長にしておくことをお勧めします。さらに、各ブローカーのパーティションレプリカ数は 2,000 を超えてはなりません。クラスター全体のパーティションレプリカの総数は 200,000 を超えてはなりません。クラスター内のパーティションレプリカの総数が大きいと推定される場合は、パーティションの総数に基づいてブローカーの数を推定することをお勧めします。

  説明

  ブローカーノード数 = Max（4、ピークデータ流入量×（ファンアウト係数+ 2×パーティションレプリカ係数-1）×2/400 MB/秒）。

• ブローカーごとの CU 数の推定：必要な CU 数は、クラスター構成、クライアント構成、クライアントの使用方法、パーティション数、クラスターサイズ、コンシューマー数、プロデューサー数などの要因に関連しているため、推定が困難です。本番クラスターはブローカーごとに 8 CU 以上、開発テストクラスターはブローカーごとに 4 CU で作成することをお勧めします。同時に、各 4 CU ブローカーに 100 を超えるリーダーレプリカまたは 300 のパーティションレプリカ（リーダーレプリカを含む）を配置しないことをお勧めします。

• 各ブローカーのディスクサイズの推定：各ブローカーのディスクサイズ = Max（1 TB、平均受信トラフィック×データ保持期間×パーティションレプリカ係数/ブローカー数）。

Connect

• ノードの推定：Connect の高可用性を確保するために、2 つ以上のノードを構成することをお勧めします。

• CU 評価：ノードごとに 8 CU 以上を選択することをお勧めします。

スキーマレジストリ

• スキーマレジストリの本番環境では、2 つのノードを構成することをお勧めします。各ノードには 2 つの CU があります。

Control Center

• Control Center の本番環境では、4 CU 以上のコンピューティングリソースと 300 GB 以上のデータストレージを持つ 1 つのノードを構成することをお勧めします。

ksqlDB リソース評価

• ノードの推定：REST Proxy の高可用性を確保するために、2 つ以上のノードを構成することをお勧めします。

• CU 評価：ノードごとに 4 CU 以上を選択することをお勧めします。

• ストレージ評価：ksqlDB のストレージサイズは、集計ステートメントの数と同時クエリの数によって異なります。デフォルトでは、100 GB が選択されています。

REST Proxy リソース評価

• ノードの推定：REST Proxy の高可用性を確保するために、2 つ以上のノードを構成することをお勧めします。

• CU 評価：REST プロキシを使用してメッセージを継続的に生成および消費する必要がある場合は、ノードごとに 8 CU 以上を選択する必要があります。それ以外の場合は、ノードごとに 4 CU を選択できます。

クラスターリソースパフォーマンス比較

次の表は、CU 数が異なる場合のクラスターの総スループットと単一プロデューサーのレイテンシの変化を示しています。ビジネスのデータトラフィックとレイテンシ要件に基づいて、適切な CU 数を選択できます。

デフォルトでは、Cloud MSMQ Confluent クラスターは 4 つのブローカーを使用し、400 MB/秒のスループットを提供します。クラスターのスループットを向上させるには、クラスターをスケールアウトできます。新しいブローカーを追加するたびに、クラスターのスループットパフォーマンスは 100 MB/秒増加します。

次の表に、クラスターのスループットパフォーマンス、メッセージ処理能力、およびサポートされているパーティション数を、ブローカーの数ごとに示します。

推奨されるクラスター仕様の選択

次の表に、一般的なシナリオでのクラスターの仕様を示します。詳細については、Confluent をご参照ください。

クラスターコンポーネントのリソース割り当てルール

次の表に、各コンポーネントのリソース構成範囲を示します。

参照

Confluent は、Kafka および Confluent Platform のリソース評価ツールを提供しています。このツールは、Cloud MSMQ Confluent に適用できます。詳細については、「Sizing Calculator for Apache Kafka and Confluent Platform」をご参照ください。