Realtime Compute for Apache Flink:デプロイメントのリソースを設定する

デプロイメントのリソースを設定するときは、次の式を使用できます。

• デプロイメントに設定される CU 数 = MAX（JobManager と TaskManager の CPU コアの合計数、JobManager と TaskManager の合計メモリサイズ/4）。

• 各デプロイメントに必要な IP アドレスの数 = JobManager の数 + TaskManager の実数。各デプロイメントには JobManager が 1つだけ存在します。

  説明

  2024年 5月 30日以降にワークスペースを購入した場合、この式に注意を払う必要はありません。詳細については、「ネットワークアーキテクチャのアップグレード」をご参照ください。

• TaskManager の実数 = 並列度の値/TaskManager スロットの値。この式は、各 TaskManager の CPU コアの合計数が各 TaskManager のデフォルトの最大 CPU コア数以下であるか、合計メモリサイズが各 TaskManager のデフォルトの最大メモリサイズ以下である場合に使用されます。

• TaskManager の実数 = MAX（⌈CPU コアの合計数/16⌉、⌈合計メモリサイズ/64⌉）。この式は、各 TaskManager の CPU コアの合計数が各 TaskManager のデフォルトの最大 CPU コア数を超えるか、合計メモリサイズが各 TaskManager のデフォルトの最大メモリサイズを超える場合に使用されます。

  • 各 TaskManager の CPU コアの合計数 = 並列度の値/TaskManager スロットの値 × Task Manager CPU の値。

  • 各 TaskManager の合計メモリサイズ = 並列度の値/TaskManager スロットの値 × Task Manager メモリの値。

  • 各 TaskManager のデフォルトの最大 CPU コア数は 16 です。

  • 各 TaskManager のデフォルトの最大メモリサイズは 64 GiB です。

• 各 TaskManager に割り当てることができるスロットの実数 = ⌈並列度の値/TaskManager の実数⌉。

たとえば、並列度を 12 に、TaskManager スロットを 4 に設定できます。次の図は、この例の構成を示しています。

Realtime Compute for Apache Flink の開発コンソールで、TaskManager の実数は 3 で、各 TaskManager のスロットの実数は 4 であることがわかります。

次の式を使用して、TaskManager の実数と各 TaskManager のスロットの実数を計算します。

1. TaskManager の実数 = [並列度の値/TaskManager スロットの値] = [12/4] = 3。

2. 各 TaskManager のスロットの実数 = ⌈並列度の値/TaskManager の実数⌉ = ⌈12/3⌉ = 4。

基本リソースを設定する

スロットリソースを設定する

1. [エキスパートモード] で、[リソース] セクションの [今すぐプランを取得] をクリックして、リソース設定プランを設定します。

   

2. SLOT ボックスの右上隅にある アイコンをクリックします。

3. スロット設定を変更します。

   [SLOT（デフォルト）の変更] ダイアログボックスで設定する並列度パラメーターは、SSG 内のすべてのオペレーターの並列度です。並列度パラメーターを設定すると、システムは自動的に次の操作を実行します。

   • システムは、SSG 内のすべてのオペレーターに並列度を自動的に適用します。

   • システムは、デプロイメントの計算ロジックに基づいて、状態バックエンド、Python、およびオペレーターに必要なメモリサイズを自動的に計算します。手動設定は不要です。

   説明

   • 剰余なしでデプロイメントの並列度で除算できるように、ソースノードのパーティション数を設定してください。たとえば、Kafka クラスターに 16 個のパーティションがある場合、データの偏りを防ぐために、並列度パラメーターを 16、8、または 4 に設定することをお勧めします。また、ソースノードの並列度パラメーターを過度に小さい値に設定しないことをお勧めします。並列度パラメーターが過度に小さい値に設定されている場合、ソースノードは過剰なデータを読み取る可能性があります。このシナリオでは、データ入力のボトルネックが発生し、デプロイメントのスループットが低下する可能性があります。

   • ソースノード以外のすべてのノードのデプロイメント並列度は、データ量に基づいて設定することをお勧めします。ノードのデータ量が多い場合は、並列度パラメーターを大きい値に設定することをお勧めします。ノードのデータ量が少ない場合は、並列度パラメーターを小さい値に設定することをお勧めします。

   • ヒープメモリとオフヒープメモリのサイズは、例外が発生した場合、またはデプロイメントのスループットが低い場合にのみ調整することをお勧めします。たとえば、デプロイメントでメモリ不足（OOM）エラーまたは深刻なガベージコレクションの問題が発生します。デプロイメントが正常に実行されているときにヒープメモリとオフヒープメモリのサイズを調整しても、デプロイメントのスループットを大幅に向上させることはできません。

4. [OK] をクリックします。

オペレーターリソースを設定する

デフォルトでは、すべてのオペレーターは 1 つの SSG に配置されます。各オペレーターのリソース設定を個別に変更することはできません。個々のオペレーターのリソースを設定する場合は、[複数 SSG] モードを有効にして、各オペレーターに独立したスロットがあることを確認する必要があります。このようにして、スロット内の各オペレーターのリソースを設定できます。オペレーターのリソースを設定するには、次の手順を実行します。

1. [設定] タブの [リソース] セクションの右上隅にある [編集] をクリックし、[モード] を [エキスパート] に設定します。

2. （オプション）リソースプランがない場合は、[今すぐプランを取得] をクリックします。

   

3. [複数 SSG] をオンにして、[再フェッチ] をクリックします。

   SSG 内の各オペレーターには、独自のスロットが割り当てられます。

   

4. 目的のオペレーターの SLOT ボックスにある アイコンをクリックして、オペレーターのリソース設定を変更します。

   

5. [OK] をクリックします。

オペレーターの並列度、連鎖戦略、および TTL を設定する

単一オペレーターの並列度、連鎖戦略、および TTL を設定できます。

1. VERTEX ボックスで アイコンをクリックして、頂点の詳細を表示します。

   

   説明

   VERTEX ボックスの アイコンをクリックして、頂点内のすべてのオペレーターの並列度パラメーターを一度に設定できます。

2. オペレーターの アイコンをクリックします。

   

3. オペレーターリソースを設定します。

   

   次の表に、パラメーターを示します。

   パラメーター	説明
   並列度	オペレーターの並列度。
   連鎖戦略	チェーンは、複数のオペレーターによって形成される論理計算チェーンです。チェーンは、デプロイメントの実行効率とパフォーマンスを向上させ、オペレーター間のデータ送信とシリアル化のオーバーヘッドを削減するのに役立ちます。特定のシナリオでは、チェーンを切断してデプロイメントの実行フローを制御し、デプロイメントのパフォーマンスを効率的に向上させる必要がある場合があります。次の連鎖戦略がサポートされています。 ALWAYS：オペレーターは常にアップストリームおよびダウンストリームオペレーターと連鎖させることができます。これはデフォルト値です。 HEAD：オペレーターはチェーンのヘッドノードとして機能します。アップストリームオペレーターはチェーンから切断されます。ダウンストリームオペレーターは現在のオペレーターと連鎖されます。 NEVER：オペレーターはアップストリームおよびダウンストリームオペレーターと連鎖させることができません。
   状態の有効期限設定	Time to Live（TTL）を秒、分、時間、または日で設定できます。このパラメーターのデフォルト値は、デプロイメントの有効期限です。デプロイメントの有効期限を指定しない場合、自動的に 1.5 日が使用されます。デプロイメントの有効期限の指定方法の詳細については、「デプロイメントを設定する」トピックの「パラメーター」セクションをご参照ください。 説明 VVR 8.0.7 以降を使用する Realtime Compute for Apache Flink のみ、このパラメーターをサポートしています。 ステートフルオペレーターのみが TTL 設定をサポートしています。

4. [OK] をクリックします。