Realtime Compute for Apache Flink:ジョブリソースの構成

次の数式を使用して計算できます：

• ジョブに設定された CU 数 = MAX(JM と TM の合計 CPU、JM と TM の合計メモリ / 4)

• 実際の TM 数 (設定された TM の CPU またはメモリがデフォルトの最大値以下の場合) = 設定された並列度 / 設定された TaskManager ごとのスロット数

• 実際の TM 数 (設定された TM の CPU またはメモリがデフォルトの最大値より大きい場合) = MAX(⌈TM の合計 CPU / 16 コア⌉, ⌈TM の合計メモリ / 64 GiB⌉)

  • TM の合計 CPU = 設定された並列度 / 設定された TaskManager ごとのスロット数 × TM ごとに設定された CPU

  • TM の合計メモリ = 設定された並列度 / 設定された TaskManager ごとのスロット数 × TM ごとに設定されたメモリ

  • TM ごとのデフォルトの最大 CPU は 16 コアです。

  • TM ごとのデフォルトの最大メモリは 64 GiB です。

• TM ごとの割り当て可能な実際のスロット数 = ⌈設定された並列度 / 実際の TM 数⌉

たとえば、並列度を 12、TaskManager ごとのスロット数を 4 に設定した場合、構成は次の図のようになります。

Flink 開発コンソールでは、実際の TM 数が 3、TaskManager ごとのスロット数が 4 であることがわかります。

実際の TM 数と TaskManager ごとのスロット数の計算プロセスは次のとおりです：

1. 実際の TM 数 = [設定された並列度 / 設定された TaskManager ごとのスロット数] = [12/4] = 3

2. TM ごとの実際のスロット数 = ⌈並列度 / 実際の TM 数⌉ = ⌈12/3⌉ = 4

基本リソースの構成

スロットリソースの構成

1. [エキスパートモード] で、[プランを今すぐ取得] をクリックしてリソースプランニンググラフを表示します。

   

2. SLOT ボックスの アイコンをクリックします。

3. スロット構成情報を変更します。

   ここで設定された並列度は、このスロット共有グループ内のすべてのオペレーターに対する統一された並列度です。設定を完了すると、システムは自動的に次の操作を実行します：

   • システムは、このスロット共有グループ内のすべてのオペレーターに同じ並列度を自動的に設定します。

   • システムは、ジョブの計算ロジックに基づいて、ステートバックエンド、Python、およびオペレーターに必要なメモリを自動的に生成します。これを手動で設定する必要はありません。

   説明

   • Source ノードの並列度は、パーティション数に比例させることを推奨します。つまり、パーティション数は並列度で割り切れるようにする必要があります。たとえば、Kafka トピックに 16 個のパーティションがある場合、データスキューを避けるために並列度を 16、8、または 4 に設定することを推奨します。また、Source ノードの並列度を低く設定しすぎないでください。並列度が低いと、単一の Source が過剰な量のデータを読み取ることになり、入力のボトルネックを引き起こし、ジョブのスループットに影響を与える可能性があります。

   • Source ノード以外のノードについては、必要に応じて並列度を設定することを推奨します。トラフィックの多いノードには高い並列度を設定し、トラフィックの少ないノードには低い並列度を設定します。

   • ヒープメモリとオフヒープメモリのサイズは、メモリ不足 (OOM) エラーや深刻なガベージコレクション (GC) など、明確な例外や要件がある場合にのみ調整することを推奨します。これは、これらのメモリサイズを調整しても、通常の操作中にジョブのスループットが大幅に変化しないためです。

4. [OK] をクリックします。

オペレーターリソースの構成

デフォルトでは、すべてのオペレーターは単一のスロット共有グループに配置されるため、個々のオペレーターのリソース構成を変更することはできません。個々のオペレーターのリソースを設定するには、[複数 SSG モード] を有効にします。このモードでは、各オペレーターに専用のスロットが割り当てられ、リソースを個別に設定できます。オペレーターリソースを設定する手順は次のとおりです：

1. ジョブの [デプロイメント詳細] タブの [リソース構成] セクションで、[編集] をクリックし、[リソースモード] を [エキスパートモード] に設定します。

2. (オプション) リソースプランが利用できない場合は、[プランを今すぐ取得] をクリックします。

   

3. [複数 SSG モード] スイッチをオンにします。次に、[再生成] をクリックします。

   共有グループ内のオペレーターは、個別のスロットに分割されます。

   

4. 対象のオペレーターに対応する SLOT ボックスの アイコンをクリックし、オペレーターのリソースを変更します。

   

5. [OK] をクリックします。

オペレーターの並列度、チェイニング戦略、TTL の構成

単一のオペレーターに対して、並列度、チェイニング戦略、および状態の生存時間 (TTL) を設定できます。

1. 対象の VERTEX ボックスの アイコンをクリックして、頂点を展開します。

   

   説明

   対象の VERTEX の アイコンをクリックすると、その頂点の下にあるすべてのオペレーターの並列度を一度に設定できます。

2. オペレーターの アイコンをクリックします。

   

3. オペレーターのリソースを設定します。

   

   パラメーターの説明は次のとおりです：

   パラメーター	説明
   同時実行性	対応するオペレーターの並列度。
   チェイニング戦略	チェーンは、複数のオペレーターを接続して形成される論理的な計算チェーンです。ジョブの実行効率とパフォーマンスを向上させ、オペレーター間のデータ転送とシリアル化のオーバーヘッドを削減できます。ただし、ジョブの実行フローとパフォーマンスをより適切に制御するために、チェーンを中断する必要がある場合もあります。次の戦略がサポートされています： ALWAYS (デフォルト)：オペレーターは常に上流および下流のオペレーターとチェーンできます。 HEAD：現在のオペレーターがチェーンの先頭として機能します。上流のオペレーターとのみチェーンを中断します。下流のノードは現在のオペレーターとチェーンされたままです。 NEVER：現在のオペレーターは、上流または下流のどのオペレーターともチェーンされません。
   オペレーターの状態生存時間 (TTL) 設定	有効期限を秒、分、時間、または日で設定できます。デフォルトはジョブの有効期限です。有効期限が設定されていないジョブの場合、デフォルトは 1.5 日です。ジョブの有効期限の設定の詳細については、「実行時パラメーター設定」をご参照ください。 説明 リアルタイムコンピューティングエンジン VVR 8.0.7 以降のバージョンでのみサポートされています。 ステートフルなオペレーターのみが TTL 設定をサポートしています。

4. [OK] をクリックします。