このトピックでは、オープンソース Flink のオフラインモードで実行される統合ストリームタスクとバッチタスクのリソースを構成する方法について説明します。本番環境と開発環境のリソースキューとエンジンバージョンを構成できます。また、並列度、Task Manager スロット、Job Manager メモリ、Task Manager メモリなどのパラメーターも構成できます。
手順
Dataphin ホームページで、トップメニューバーから [開発] > [データ開発] を選択します。
[開発] ページで、トップメニューバーからプロジェクトを選択します。プロジェクトが Dev-Prod モードの場合は、環境も選択します。
左側のナビゲーションウィンドウで、[データ処理] > [スクリプトタスク] に移動します。
スクリプトタスクリストで、ターゲットスクリプトタスクをクリックしてタブを開きます。
右側のサイドバーで [構成] をクリックします。構成パネルで、[オフラインモード] タブをクリックします。
構成パネルの [リソース構成] セクションで、オフラインモードの [リソース構成] パラメーターを構成します。
Flink on Yarn
パラメーター
説明
本番環境リソースキュー
デフォルトでは、Flink SQL タスクの作成時に選択したクラスターが使用されます。ここでエンジンを切り替えることができます。
重要エンジンを切り替えてタスクを送信すると、タスクの実行が異なる場合があります。注意して進めてください。
本番環境エンジンバージョン
デフォルトでは、Flink SQL タスクの作成時に選択したエンジンバージョンが使用されます。ここでエンジンバージョンを切り替えることができます。
開発環境リソースキューとエンジンバージョン
Flink SQL タスクの作成時に選択した構成がデフォルトです。ここで再設定できます。[システムデフォルト構成] または [カスタム構成] を選択できます。
システムデフォルト構成: 本番環境と同じクラスターとエンジンバージョンを使用します。
カスタム構成: 開発環境タスクのクラスターとエンジンバージョンを選択できます。プロジェクトが Basic モードの場合、この構成は不要です。
並列度
デフォルト値は 1 です。0 より大きい任意の整数を入力できます。値 -1 は自動推論を示します。
Task Manager スロット
デフォルト値は空です。0 より大きい任意の整数を入力できます。
Job Manager メモリ
タスクのコントロールユニットが Flink クラスターで使用するメモリ量。デフォルト値は 1 Gi です。単位として Gi または Mi を使用します。バイト単位の数値、または Gi や Mi などのメモリ単位を持つ数値を入力できます。例: 1024000、1024Mi、または 1.5Gi。
Task Manager メモリ
デフォルト値は 1 Gi です。単位として Gi または Mi を使用します。バイト単位の数値、または Gi や Mi などのメモリ単位を持つ数値を入力できます。例: 1024000、1024Mi、または 1.5Gi。
ジョブマネージャー CPU
Job Manager プロセスに割り当てられる CPU 計算リソース。デフォルト値は 1 です。0 より大きい任意の整数を入力できます。
TaskManager CPU
Task Manager プロセスに割り当てられる CPU 計算リソース。デフォルト値は 1 です。0 より大きい任意の整数を入力できます。
Flink on Kubernetes
パラメーター
説明
本番環境リソースキュー
デフォルトでは、Flink SQL タスクの作成時に選択したクラスターが使用されます。ここでエンジンを切り替えることができます。
重要エンジンを切り替えてタスクを送信すると、タスクの実行が異なる場合があります。注意して進めてください。
本番環境エンジンバージョン
デフォルトでは、Flink SQL タスクの作成時に選択したエンジンバージョンが使用されます。ここでエンジンバージョンを切り替えることができます。
開発環境リソースキューとエンジンバージョン
デフォルトでは、Flink SQL タスクの作成時に選択した構成が設定されます。ここでは、[システムデフォルト構成] または [カスタム構成] を選択して再構成できます。
システムデフォルト構成: 本番環境と同じクラスターとエンジンバージョンを使用します。
カスタム構成: 開発環境タスクのクラスターとエンジンバージョンを選択できます。プロジェクトが Basic モードの場合、この構成は不要です。
並列度
デフォルト値は 1 です。0 より大きい任意の整数を入力できます。値 -1 は自動推論を示します。
Task Manager の数
デフォルト値は 1 です。0 より大きい任意の整数を入力できます。
ジョブマネージャー CPU
タスクのコントロールユニットが Flink クラスターで使用する CPU リソースの量。デフォルト値は 1 Gi です。単位として Gi または Mi を使用します。バイト単位の数値、または Gi や Mi などのメモリ単位を持つ数値を入力できます。例: 1024000、1024Mi、または 1.5Gi。
Task Manager メモリ
デフォルト値は 1 Gi です。単位として Gi または Mi を使用します。バイト単位の数値、または Gi や Mi などのメモリ単位を持つ数値を入力できます。例: 1024000、1024Mi、または 1.5Gi。
[OK] をクリックして、オフラインタスクのリソース構成を完了します。