リアルタイム統合ノードの実行時リソースを構成できます。これらのリソースは、リアルタイム統合中のノード実行に利用されます。このトピックでは、リアルタイム統合のリソースを構成する方法について説明します。
手順
Dataphin ホームページの上部メニューバーで、[開発] > [data Integration] を選択します。
上部メニューバーで、[プロジェクト] (開発-本番パターンでは、[環境]も選択します) を選択します。
左側のナビゲーションウィンドウで、[統合] > [ストリームパイプライン] を選択します。
ターゲットのリアルタイム統合ノード名をクリックします。現在のリアルタイム統合ノードタブの上部メニューバーで、[リソース構成] をクリックします。
[リソース構成] 領域で、リアルタイム統合ノードのリソースを設定します。
パラメーター
説明
差分同期
エンジンバージョン
ノードが使用するリアルタイムコンピューティングエンジンとそのバージョン。
Alibaba Cloud Realtime Compute for Flink (VVP): VVP vvr-6.0.4-flink-1.15
Flink on YARN: Open Flink 1.15.3
Flink on K8s: OPEN_FLINK_K8S 1.15.3
Job Manager CPU、Task Manager CPU
デフォルトは 1 です。リアルタイムコンピューティング ソースで Ververica Flink または Flink(K8s デプロイメント モード)を使用する場合は、小数点以下 2 桁がサポートされています。リアルタイムコンピューティング ソースで Flink(Yarn デプロイメント モード)を使用する場合は、正の整数のみがサポートされています。
Job Manager メモリ、Task Manager メモリ
デフォルトは 2 Gi です。数値 (バイト単位) またはメモリ単位 Gi/Mi を含む数値を入力できます。たとえば、1024000、1024 Mi、1.5 Gi などです。
データ更新間隔/バッチ書き込み間隔
リアルタイム統合のターゲット データベースが Hive の場合のみ、[データ更新間隔] を構成する必要があります。
データレイクテーブル形式が選択されていない場合: デフォルトは 15 分です。最小送信間隔は 1 分、最大は 60 分です。Hive オブジェクトファイルにデータを書き込む間隔が短いほど、Hive オブジェクトファイルが多くなり、Hadoop クラスタのパフォーマンスに影響します。
データレイクテーブル形式が Hudi の場合: 更新間隔は [分] または [秒] で選択でき、最小は 5 秒、最大は 60 分です。
リアルタイム統合のターゲット データベースが MaxCompute の場合のみ、[バッチ書き込み間隔] を構成する必要があります。これは、MaxCompute データテーブルにデータを書き込むための更新間隔です。デフォルトは 30 秒です。最小は 5 秒、最大は 60 分です。
説明リアルタイム統合のターゲット データベースが Hive でも MaxCompute でもない場合、このパラメーターはサポートされていません。
フル同期
開発ノードスケジュールリソースグループ、本番ノードスケジュールリソースグループ
プロジェクトが Dev-Prod パターンの場合、[開発ノードスケジュールリソースグループ] と [本番ノードスケジュールリソースグループ] を構成できます。プロジェクトが Basic パターンの場合、[リソースグループ] のみを構成できます。デフォルトの選択は プロジェクトのデフォルトリソースグループ (テナントのデフォルトリソースグループ) です。[リソースグループの詳細を表示] をクリックすると、管理センター > システム設定 > リソース設定 > リソースグループ設定 に移動して、リソースグループの詳細を表示できます。
開発ノードスケジュールリソースグループ: 開発ノードの実行時に消費されるリソース。リソースは分離されており、異なるリソースグループ間で相互に影響を与えません。ノードが送信された後、開発環境ノードのプロパティで変更できます。
本番ノードスケジュールリソースグループ、スケジュールリソースグループ: ノードによって生成されたインスタンスのスケジューリングによって消費されるリソース。リソースは分離されており、異なるリソースグループ間で相互に影響を与えません。ノードが送信された後、本番環境のオペレーションセンターでのみ変更できます。
説明リアルタイム統合ノードの同期ソリューションが [リアルタイム差分 + フル] として選択されている場合のみ、この項目を構成できます。
[OK] をクリックして、リアルタイム統合ノードのリソース構成を確定します。