すべてのプロダクト
Search
ドキュメントセンター

Dataphin:Ververica Flink リアルタイムモード リソースの構成

最終更新日:Feb 06, 2025

このトピックでは、ストリームバッチ統合タスクのリアルタイムモードにおける Ververica Flink リソースの構成について概要を説明します。これには、本番クラスターと開発クラスターの設定、エンジンバージョン、並列度、タスクマネージャーとジョブマネージャーの CPU とメモリの設定が含まれます。

手順

  1. Dataphin ホームページの上部のメニューバーから [開発] セクションに移動します。デフォルトでは、データ [開発] ページに移動します。

  2. ストリームバッチ統合タスク リアルタイムモードの構成パネルにアクセスするには、次の手順に従います。

    プロジェクトを選択(Dev-Prod モードでは環境の選択が必要)-> [スクリプトタスク] をシングルクリック -> 計算タスクを選択してシングルクリック -> [構成] をシングルクリック -> [リアルタイムモード] をシングルクリックします。

    image.png

  3. リアルタイムモード構成パネルの [リソース構成] セクションで、[リソース構成] の詳細を設定します。

    パラメーター

    説明

    本番環境クラスター

    タスク作成時に最初に選択されたクラスターがデフォルトで使用されます。ここでは、別のクラスターに切り替えることができます。

    重要

    クラスターを切り替えると、送信時にタスク実行に差異が生じる可能性があります。変更を加える際は注意してください。

    本番環境エンジンバージョン

    タスク作成時に選択されたエンジンバージョンがデフォルトで使用されます。ここでは、エンジンバージョンを更新できます。

    開発環境クラスターとエンジンバージョン

    本番環境と同じクラスターとエンジンバージョンを使用するシステムデフォルト構成、または開発環境タスクのカスタム構成を選択できます。

    • システムデフォルト構成:本番環境のクラスターとエンジンバージョンに合わせて自動的に選択されます。

    • カスタム構成:開発環境タスク実行のクラスターとエンジンバージョンを指定できます。

      説明

      プロジェクトスペースが基本モードの場合、この構成は不要です。

    並列度

    デフォルトの並列度は 4 に設定されていますが、0 より大きい任意の整数を指定できます。値 -1 は自動推論を示します。

    タスクマネージャー数量

    タスクマネージャーのデフォルト数は 2 ですが、0 より大きい任意の整数を入力できます。

    タスクマネージャー CPU

    各タスクマネージャーのデフォルト CPU 割り当ては 1 ですが、1 や 10.5 などの任意の正数を指定できます。

    タスクマネージャー メモリ

    タスクマネージャーのデフォルトメモリ割り当ては 8Gi です。Gi/Mi 単位を使用することをお勧めします。バイト単位で数値を入力するか、1024000、1024Mi、1.5Gi などのメモリ単位を含めることができます。

    ジョブマネージャー CPU

    ジョブマネージャーのデフォルト CPU 割り当ては 1 ですが、1 や 10.5 などの任意の正数を指定できます。

    ジョブマネージャー メモリ

    ジョブマネージャーのデフォルトメモリ割り当ては 4Gi です。指定には Gi/Mi 単位を使用します。バイト単位で数値を入力するか、1024000、1024Mi、1.5Gi などのメモリ単位を含めることができます。

    リソース構成タイプ

    • システム推奨構成

      リアルタイムコンピューティング Flink のきめ細かいリソース構成のためのこのインテリジェントモード(ベータ版)は、エキスパートモードの高度なバージョンです。エキスパートモードのリソース構成に加えて、AutoPilot 自動調整機能が含まれています。

      インテリジェントモードでは、AutoPilot はジョブのリソース構成を自動的に生成し、ジョブの実行状況に基づいて最適化することで、最適なリソース使用率とジョブの正常性を確保します。詳細については、「AutoPilot の構成」をご参照ください。

    • カスタム構成

      エキスパートモード(ベータ版)では、リアルタイムコンピューティング Flink タスクの詳細なリソース構成が可能になり、特定のスループット要件を満たすきめ細かい制御が提供されます。

      構成されたリソースに基づいて、システムは Native K8s モードでジョブを自動的にデプロイし、スロットの仕様とジョブの同時実行性に応じてタスクマネージャー(TM)の仕様と数量を決定します。きめ細かいリソース構成の詳細については、「ジョブデプロイ情報の構成」をご参照ください。

      Dataphin で Flink SQL タスクリソースをカスタマイズするには、「Ververica Flink リアルタイムタスクリソースのカスタマイズ」をご参照ください。

      説明

      FLINK_DATASTREAM タスクは、[リソース構成タイプ] 設定をサポートしていません。

    リソース構成レコード

    [リソース構成] を変更すると、[現在の構成を新しいレコードとして保存] をシングルクリックして保存できます。保存されたリソース構成レコードには、[詳細の表示][開始]、または [削除] のオプションがあります。

    説明

    FLINK_DATASTREAM タスクは、[リソース構成レコード] 機能をサポートしていません。

  4. タスクのリアルタイムモードリソース構成を完了するには、[確認] をシングルクリックします。