E-MapReduce:クラスターリソースの見積もりに関する提案

ビジネスパラメーター

ブローカー数とディスクサイズを計算する前に、以下のビジネスパラメーターを収集してください。

ピークトラフィックは通常、平均トラフィックよりも桁違いに高くなります。それに応じてピークインバウンドトラフィック値を設定し、クラスターが極端な負荷の下でもサービスを維持できるように、十分な冗長容量を確保してください。

これらのパラメーターを使用して、以下のクラスターレベルのメトリックを導出します。

推奨ノードスペック

以下のスペックで Core ノードを構成します。

ディスクタイプ。物理ディスク障害による運用と保守 (O&M) の負担を避けるため、データディスクとしてクラウドディスクを使用してください。これにより、サービス可用性が向上し、O&M 人件費が削減されます。

ディスクタイプとディスク数を選択した後、ノードの合計ディスク I/O スループットを計算してください。合計ディスク I/O スループット以上の帯域幅を持つネットワークインターフェースカード (NIC) を選択してください。

ブローカー数

理想的な条件では、Kafka ブローカーのスループット上限は、そのディスク I/O スループットまたは NIC 帯域幅のいずれかです。必要なブローカー数を計算するには、以下の手順を使用してください。

ステップ 1: ノードあたりのディスクスループットを計算します。

Disk throughput per node = Throughput per disk x Number of data disks

参考として、PL1 Enterprise SSD (ESSD) の最大スループットは 350 MB/秒です。ローカルディスクの場合、理論値の半分を実効スループットとして使用します。これは通常 50 MB/秒です。

詳細なディスクパフォーマンス値については、「ブロックストレージパフォーマンス」をご参照ください。

ステップ 2: トラフィックに基づいてブローカー数を計算します。

レプリケーション係数 3 の場合、1 つのブローカーが一時的に利用不可になった場合でも、3 つのレプリカを持つパーティションを作成できるように、少なくとも 4 つのブローカーを使用してください。50% の冗長容量を維持します。

Number of brokers = Max(4, (Total peak read traffic + Total peak write traffic) / Disk throughput per node / 50%)

ステップ 3: パーティションレプリカの制限と照合します。

パーティションレプリカの合計数が多い場合は、パーティションベースの数式を使用して相互チェックしてください。

Number of brokers = Max(4, Total number of partitions x Partition replication factor / 2,000)

パーティションレプリカの制限:

ステップ 4: ブローカーあたりのディスクサイズを計算します。

Disk size per broker = Total storage capacity / Number of brokers / Number of data disks per node / 50%

クラスター作成後のスケーリング

サイジング数式に組み込まれた 50% の冗長性予備は、速度制限が始まる負荷しきい値以下にクラスターを維持します。クラスター作成後、リソース使用量を監視し、スケールアウト機能を使用して実際のリソース使用量に基づいて構成を調整してください。