本トピックでは、リアルタイムモードでのオープンソース Flink のストリームバッチ統合タスクのリソース設定方法について説明します。リソースキュー、エンジンバージョン、並列度、Task Manager スロット、Job Manager メモリ、Task Manager メモリなどの設定を構成できます。
手順
Dataphin ホームページの上部のメニューバーで、[開発者] > [データ開発] を選択します。
上部のメニューバーで、プロジェクトを選択します。Dev-Prod モードの場合は、環境も選択する必要があります。
左側のナビゲーションウィンドウで、[データ処理] > [スクリプトタスク] を選択します。
計算タスクのリストで、ターゲットのオープンソース Flink タスクを選択し、右側のサイドバーで [構成] をクリックします。
構成パネルで、[リアルタイムモード] タブをクリックし、[リアルタイムモード] タブの [リソース構成] セクションの設定を構成します。
Flink on yarn
パラメーター
説明
本番環境リソースキュー
Flink SQL タスクの作成時に選択したリソースキューがデフォルトで使用されます。ここで DPI エンジンを切り替えることができます。
重要エンジンを切り替えると、送信されたタスクの実行が異なる場合があります。注意して進めてください。
本番環境エンジンバージョン
Flink SQL タスクの作成時に選択したエンジンバージョンがデフォルトで使用されます。ここでエンジンバージョンを切り替えることができます。サポートされているバージョンは 1.13.1、1.14.2、1.15.3、および 1.20.1 です。
開発環境リソースキューとエンジンバージョン
Flink SQL タスクの作成時に選択した構成がデフォルトで使用されます。ここで再構成できます。[システムデフォルト構成] または [カスタム構成] を選択できます。
システムデフォルト構成: 本番環境と同じクラスターとエンジンバージョンを使用します。
カスタム構成: [開発環境リソースキュー] と [開発環境エンジンバージョン] を選択できます。利用可能なバージョンは 1.13.1、1.14.2、1.15.3、および 1.20.1 です。プロジェクトが Basic モードの場合、この項目を構成する必要はありません。
並列度
デフォルト値は 1 です。0 より大きい任意の整数を入力できます。値 -1 は自動推論を示します。
Task Manager スロット (任意)
このパラメーターはデフォルトで空です。0 より大きい任意の整数を入力できます。
Job Manager メモリ
Flink クラスターのコントロールユニットでタスクが占有するメモリ量。デフォルト値は 2 Gi です。単位として Gi または Mi を使用します。バイト単位の数値、または Gi や Mi などのメモリ単位を持つ数値を入力できます。例: 1024000、1024Mi、1.5Gi。
Task Manager メモリ
デフォルト値は 2 Gi です。単位として Gi または Mi を使用します。バイト単位の数値、または Gi や Mi などのメモリ単位を持つ数値を入力できます。例: 1024000、1024Mi、1.5Gi。
Job Manager CPU
JobManager プロセスに割り当てられる CPU 計算リソース。デフォルト値は 1C です。0 より大きい任意の整数を入力できます。
タスクマネージャー CPU
TaskManager プロセスに割り当てられる CPU 計算リソース。デフォルト値は 1C です。0 より大きい任意の整数を入力できます。
Flink on K8s
パラメーター
説明
本番環境リソースキュー
Flink SQL タスクの作成時に選択したリソースキューがデフォルトで使用されます。ここで DPI エンジンを切り替えることができます。
重要エンジンを切り替えると、送信されたタスクの実行が異なる場合があります。注意して進めてください。
本番環境エンジンバージョン
Flink SQL タスクの作成時に選択したエンジンバージョンがデフォルトで使用されます。ここでエンジンバージョンを切り替えることができます。サポートされているバージョンは 1.13.1、1.14.2、1.15.3、および 1.20.1 です。
開発環境リソースキューとエンジンバージョン
Flink SQL タスクの作成時に選択した構成がデフォルトで使用されます。ここで再構成できます。[システムデフォルト構成] または [カスタム構成] を選択できます。
システムデフォルト構成: 本番環境と同じクラスターとエンジンバージョンを使用します。
カスタム構成: [開発環境リソースキュー] と [開発環境エンジンバージョン] を選択できます。利用可能なバージョンは 1.13.1、1.14.2、1.15.3、および 1.20.1 です。プロジェクトが Basic モードの場合、この項目を構成する必要はありません。
並列度
デフォルト値は 1 です。0 より大きい任意の整数を入力できます。値 -1 は自動推論を示します。
Task Manager 数
デフォルト値は 1 です。0 より大きい任意の整数を入力できます。
Job Manager メモリ
Flink クラスターのコントロールユニットでタスクが占有するメモリ量。デフォルト値は 1 Gi です。単位として Gi または Mi を使用します。バイト単位の数値、または Gi や Mi などのメモリ単位を持つ数値を入力できます。例: 1024000、1024Mi、1.5Gi。
Task Manager メモリ
デフォルト値は 1 Gi です。単位として Gi または Mi を使用します。バイト単位の数値、または Gi や Mi などのメモリ単位を持つ数値を入力できます。例: 1024000、1024Mi、1.5Gi。
JobManager CPU
JobManager プロセスに割り当てられる CPU 計算リソース。デフォルト値は 1C です。0 より大きい任意の数値 (例: 1 または 10.5) を入力できます。
TaskManager CPU
TaskManager プロセスに割り当てられる CPU 計算リソース。デフォルト値は 2C です。0 より大きい任意の数値 (例: 1 または 10.5) を入力できます。
[OK] をクリックしてリソース構成を完了します。