Realtime Compute for Apache Flink:ジョブリソースの設定

次の式を使用してリソース要件を計算できます：

• コンピューティングユニット (CU) の数 = MAX (JobManager と TaskManager の合計 CPU、JobManager と TaskManager の合計メモリ / 4)

• 実際の TaskManager 数 = ceil (並列度 / TaskManager あたりのスロット数)

• TaskManager あたりの実際のスロット数 = 並列度 / 実際の TaskManager 数

たとえば、並列度を 12 に、TaskManager あたりのスロット数を 4 に設定したとします。

この例では、[JobManager CPU] は 2 コア、[JobManager Memory] は 4 GiB、[TaskManager CPU] は 2 コア、[TaskManager Memory] は 4 GiB です。

Realtime Compute for Apache Flink コンソールでは、実際の TaskManager 数は 3 で、各 TaskManager には 4 つのスロットがあります。

実際の TaskManager 数と TaskManager あたりのスロット数は次のように計算されます：

1. 実際の TaskManager 数 = ceil (設定された並列度 / 設定された TaskManager あたりのスロット数) = ceil (12 / 4) = 3。

2. TaskManager あたりの実際のスロット数 = 並列度 / 実際の TaskManager 数 = 12 / 3 = 4。

基本リソースの設定

スロットリソースの設定

1. [エキスパートモード] では、[今すぐプランを取得] をクリックしてリソースプラングラフを取得します。

2. スロットボックスの編集 アイコンをクリックします。生成されたリソースプラングラフには、複数の [slot] ボックスが表示され、それぞれに [VERTEX] オペレーター情報と [PARALLELISM] 値が含まれています。

3. スロット設定を変更します。ダイアログボックスで、[CPU]、[Heap Memory]、[Off-heap Memory]、[Parallelism] パラメータを設定できます。

   ここで設定した並列度は、このスロット共有グループ内のすべてのオペレーターに適用されます。設定を保存すると、システムは自動的に次のことを行います：

   • このスロット共有グループ内のすべてのオペレーターに同じ並列度を設定します。

   • ジョブの計算ロジックに基づいて、状態バックエンド、Python、オペレーターに必要なメモリを割り当てます。この割り当ては自動的に行われます。

   説明

   • Source ノードの場合、パーティション数に比例した並列度を設定することを推奨します。つまり、並列度はパーティション数の約数である必要があります。たとえば、Kafka トピックに 16 個のパーティションがある場合、データスキューを回避するために並列度を 16、8、または 4 に設定します。

   • Source ノードの並列度を低く設定しすぎると、1 つの Source が過剰なデータを読み取り、ジョブのスループットが低下するため、ボトルネックが発生する可能性があります。

   • その他のノードについては、データトラフィックに応じて並列度を設定し、トラフィックが多いノードには高い並列度を割り当ててください。

   説明

   エキスパートモードでは、スロット設定ダイアログボックスで [CPU]、[Heap Memory]、[Off-heap Memory] を手動で設定できます。JVM オーバーヘッド、ネットワークバッファ、フレームワークメモリを含むその他のメモリコンポーネントは、デフォルトの比率でシステムによって自動的に割り当てられます。これらのコンポーネントは、TaskManager の起動時に事前に割り当てられ、ジョブの実行中に動的に調整されることはありません。

   これらの自動的に割り当てられたコンポーネントが原因でメモリ不足エラーが発生した場合は、[実行パラメーター設定] の [その他の設定] フィールドで、次のパラメーターを設定します。

   • taskmanager.memory.jvm-overhead.fraction：TaskManager メモリ全体に対する JVM オーバーヘッドのサイズの割合。デフォルト：0.1 (10%)。

   • taskmanager.memory.jvm-overhead.max：JVM オーバーヘッドの最大サイズ。

   • taskmanager.memory.jvm-overhead.min：JVM オーバーヘッドの最小サイズ。

4. [OK] をクリックします。

オペレーターリソースの設定

デフォルトでは、すべてのオペレーターが 1 つの Slot Sharing Group を共有するため、リソースを個別に設定することはできません。特定のオペレーターのリソースを設定するには、[複数 SSG モード] を有効にします。このモードでは、各オペレーターに独立したスロットが割り当てられ、そのスロットでリソースを設定できるようになります。

1. [設定] タブで、[リソース] セクションの [編集] をクリックし、[リソースモード] を [エキスパートモード] に設定します。

2. (オプション) リソースプランが表示されない場合は、[今すぐプランを取得] をクリックします。

   デフォルトでは、生成されたリソースプラングラフは、単一の [slot] ボックス内にすべてのオペレーターを表示します。

3. [Multiple SSG mode] スイッチをオンにし、次に [再取得] をクリックします。

   この操作により、共有グループ内のオペレーターが個別のスロットに分割されます。

4. 対象のオペレーターに対応するスロットボックスの編集 アイコンをクリックし、オペレーターリソースを変更します。

   [Modify slot] ダイアログボックスで、[CPU]、[Heap Memory]、[Off-heap Memory]、[Parallelism] パラメータを設定できます。

5. [OK] をクリックします。

オペレーターの並列度、チェーン化戦略、状態 TTL

個々のオペレーターの並列度、チェーン化戦略、状態 TTL を設定できます。

1. 対象の VERTEX ボックスの展開 アイコンをクリックします。

   展開後、[VERTEX] ボックスには各オペレーターノード、その [PARALLELISM] 値、および各オペレーターの横に編集アイコンが表示されます。

   説明

   VERTEX の編集 アイコンをクリックして、その VERTEX 内のすべてのオペレーターの並列度を一括で設定できます。

2. オペレーターの編集 アイコンをクリックします。

3. オペレーターリソースを設定します。

   次の表でパラメータについて説明します。

   パラメータ	説明
   並列度	オペレーターの並列度です。
   チェーン化戦略	チェーン化は、複数のオペレーターを単一のタスクに接続し、データ転送とシリアル化のオーバーヘッドを削減することでパフォーマンスを向上させます。ただし、チェーンを分割して実行フローをより細かく制御することもできます。次の戦略を使用できます： [ALWAYS] (デフォルト)：オペレーターは常に上流および下流のオペレーターとチェーン化できます。 [HEAD]：現在のオペレーターはチェーンの先頭として機能します。上流のオペレーターとはチェーン化されませんが、下流のオペレーターとはチェーン化されたままです。 [NEVER]：現在のオペレーターは、上流または下流のオペレーターとチェーン化されません。
   状態 TTL	有効期限を秒、分、時間、または日単位で設定できます。デフォルトでは、オペレーターはジョブの状態有効期限を継承し、デフォルトは 1.5 日です。ジョブレベルの有効期限を設定するには、「実行パラメータの設定」をご参照ください。 説明 この機能は、Ververica Runtime (VVR) 8.0.7 以降でのみサポートされています。 TTL 設定は、ステートフルオペレーターでのみサポートされます。 状態の有効期限は、おおよそのクリーンアップメカニズムです。システムは、TTL が経過した直後に期限切れの状態が削除されることを保証しません。実際のクリーンアップ時間は、バックグラウンドの状態アクセスパターンとクリーンアップポリシーによって異なります。

4. [OK] をクリックします。

並列度の設定値は、消費CU数と同じですか？

いいえ。[並列度] は、ジョブで実行される同時タスクの数を指します。[CU] は、Realtime Compute for Apache Flink で使用される課金およびリソースの単位です。これらは 1:1 の関係ではありません。

合計 CU 消費量は、次の式で計算されます：

合計 CU 消費量 = 並列度 × タスクあたりの CU

各タスクで消費される CU は、ジョブに設定されたスロットあたりのリソース仕様によって決まります。並列度を増やすと合計 CU 消費量は増加しますが、増加はタスクあたりの CU 仕様に比例し、単純な 1:1 の比率ではありません。

SQL ジョブで SET 'parallelism.default' が有効にならないのはなぜですか?

SQL ジョブステートメントで直接 SET 'parallelism.default' = 'N'; を使用しても、Realtime Compute for Apache Flink では有効になりません。並列度を設定するには、次のいずれかの方法を使用してください：

1. 関連する SQL ステートメントの WITH 句で並列度を設定します。

2. [運用保守] > [デプロイ] ページのリソース設定編集インターフェイスで、並列度を変更します。

Print Sink または Join オペレーターがリソース不足やパフォーマンス低下を引き起こす場合、どうすればよいですか?

適切な対処法は、具体的な症状によって異なります：

• Print Sink が TaskManager のリソース不足を引き起こす — この問題は、パラメータ調整だけでは解決できません。実際のデータ量に基づいてリソース要件を評価し、ソーステーブルのフィールドタイプが正しく定義されていることを確認します (たとえば、適切な場合は STRING ではなく BIGINT を使用します)。そして、Print Sink のデバッグオーバーヘッドをサポートするのに十分な TaskManager リソースを割り当ててください。

• メモリ使用率が低いにもかかわらず Join のパフォーマンスが低い — CU の数を増やしてください。ただし、根本原因がデータスキューの場合、リソースを追加しても問題が解決しない可能性があります。まずデータスキューの問題を解決してから、追加のリソースが必要かどうかを評価してください。

• エンドツーエンドレイテンシーが高く、ジョブが頻繁に再起動する — ジョブがステートレス再起動後のフルステート同期フェーズにある場合は、スロット数を 1 に設定し、並列度を個別に適切に設定し、1 コア 4 GiB の TaskManager 仕様と適度な同時実行数 (たとえば 10) を使用して、パフォーマンスをテストおよび最適化してみてください。