Dataphin オペレーションセンターでの Flink リアルタイムインスタンス起動 - Dataphin

リアルタイムタスクの開発と公開が完了したら、オペレーションセンターでリアルタイムインスタンスを起動できます。このトピックでは、リアルタイムインスタンスを起動する方法について説明します。

リアルタイムインスタンスを起動するためのエントリポイント

エントリポイント 1：リアルタイムタスクエントリからリアルタイムインスタンスを起動する

Dataphin ホームページの上部ナビゲーションバーで、[開発] > [タスク O&M] を選択します。
左側のナビゲーションウィンドウで、[タスク O&M] > [ストリームタスク] を選択して、[ストリームタスク] ページを開きます。
[ストリームタスク] ページで、対象のリアルタイムタスクの [アクション] 列にある開始アイコンをクリックします。

エントリポイント 2：リアルタイムインスタンスエントリからリアルタイムインスタンスを起動する

Dataphin ホームページの上部ナビゲーションバーで、[開発] > [タスク O&M] を選択します。
左側のナビゲーションウィンドウで、[インスタンス O&M] > [リアルタイムインスタンス] を選択して、[リアルタイムインスタンス] ページを開きます。
[リアルタイムインスタンス] ページで、対象のリアルタイムタスクの [アクション] 列にある開始アイコンをクリックします。

リアルタイムインスタンスを起動するための手順

リアルタイムインスタンスを起動する方法は、コンピューティングエンジン、リアルタイムインスタンスタイプ、および環境（開発または本番）によって異なります。手順は以下のとおりです。

Ververica Flink、Fusioninsight、およびオープンソース Flink リアルタイムエンジン

リアルタイムコンピューティングインスタンスを起動する

本番環境

[リアルタイムインスタンスの起動] ダイアログボックスで、起動情報を構成します。

パラメーター	説明
起動モード	ステートレス起動と有効な状態からの起動をサポートしています。ステートレス起動：初期状態なしで起動します。ステートレスで起動する場合、ソーステーブルがデータを読み取る時点を指定できます。特定の開始時刻を設定すると、startTime をサポートするすべてのソーステーブルがその時点からデータを読み取ります。重要現在、Log Service、Kafka、MySQL、MongoDB、および OceanBase は、ソーステーブルがデータを読み取る時点の指定をサポートしています。 SQL ジョブのパラメーター構成は、この指定された開始時刻よりも優先されます。 Fusioninsight Flink エンジンは、特定の時点からのデータ読み取りをサポートしていません。有効な状態から起動：既存の有効な状態から起動します。ドロップダウンメニューからチェックポイントまたはセーブポイントを選択できます。最新の 8 個の有効な状態（チェックポイントまたはセーブポイント）のみを選択できます。デフォルトでは、インスタンスは最新の状態から起動されます。説明リアルタイムインスタンスに最近の有効な状態がない場合、有効な状態からの起動はサポートされていません。
ソースデータタイムゾーン	ソースデータソースのタイムゾーン。これは変更できません。
データタイムスタンプ	データタイムスタンプを構成して、時間変数に値を割り当てることができます。時間変数は、データタイムスタンプに基づいて計算されます。デフォルトは現在の日付です。説明リアルタイム統合タスクは、データタイムスタンプ構成をサポートしていません。

説明

プロジェクトのコンピューティングソースが Ververica Flink の場合、システムは Ververica Flink コンピューティングソースが最新のインターフェイスを使用しているかどうかを自動的に判断します。最新のインターフェイスを使用している場合は、「開始オフセットから実行」または「最新の状態から実行」のいずれかを選択する必要もあります。

開始オフセットから実行：構成されたデータ読み取り時点とデータタイムスタンプに基づいてインスタンスを開始します。
最新の状態から実行：リアルタイムインスタンスの元の状態から実行を再開します。

[起動] をクリックします。

開発環境

[テストインスタンスパラメーター構成] ダイアログボックスで、テストインスタンスパラメーターの特定の値を構成します。

パラメーター	説明
ソーステーブルデータ読み取り時点の指定	データ読み取り時点を設定します。特定の開始時刻を設定すると、startTime をサポートするすべてのソーステーブルがその時点からデータを読み取ります。重要現在、Log Service、Kafka、MySQL、MongoDB、および OceanBase は、ソーステーブルがデータを読み取る時点の指定をサポートしています。 SQL ジョブのパラメーター構成は、この指定された開始時刻よりも優先されます。 Fusioninsight Flink エンジンは、特定の時点からのデータ読み取りをサポートしていません。
テスト方法	Flink リアルタイムタスクのテスト方法には、ログ出力とテストテーブルへの書き込みが含まれます。ログ出力を選択すると、テスト結果はログに書き込まれ、テストテーブルは生成されません。テストテーブルへの書き込みを選択すると、テスト結果はログに書き込まれませんが、対応するテストテーブルが生成されます。重要テストテーブルが物理データベース（MySQL など）に既に存在することを確認する必要があります。そうでない場合、リアルタイムインスタンスは実行に失敗します。
入力テーブル	構成は不要です。現在のリアルタイムインスタンスの入力テーブル名が表示されます。
データタイムスタンプ	データタイムスタンプを構成して、時間変数に値を割り当てることができます。時間変数は、データタイムスタンプに基づいて計算されます。デフォルトは現在の日付です。

テストインスタンスの実行中に、システムが開発テーブルから読み取るか、本番テストメタテーブルから読み取るかは、メタテーブルの構成によって異なります。メタテーブルの構成を表示するには、「メタテーブルを作成する」をご参照ください。

メタテーブルの開発環境テスト読み取りパラメーターが開発テーブルに設定されている場合：
- タスクで Project_Name_dev.meta_table_name が使用されている場合、開発環境テストメタテーブルから読み取ります。
- タスクで Project_Name.meta_table_name が使用されている場合、本番メタテーブルから読み取ります。本番環境テストメタテーブルにアクセスする権限がない場合は、エラーが発生します。本番環境テストメタテーブルの権限の申請方法については、「テーブル権限の申請、更新、および放棄」をご参照ください。
- タスクで ${Project_Name}.meta_table_name または meta_table_name のみを使用している場合、開発環境テストメタテーブルから読み取ります。
メタテーブルの開発環境テスト読み取りパラメーターが本番テーブルに設定されている場合：
- タスクで Project_Name_dev.meta_table_name が使用されている場合、開発環境テストメタテーブルから読み取ります。
- タスクで Project_Name.meta_table_name が使用されている場合、本番環境テストメタテーブルから読み取ります。
- タスクで ${Project_Name}.meta_table_name または meta_table_name のみを使用している場合、本番環境テストメタテーブルから読み取ります。
メタテーブルの開発環境テスト書き込みパラメーターが他のテストテーブルに設定されている場合：
- タスクで Project_Name_dev.meta_table_name が使用されている場合、開発テストメタテーブルに書き込みます。
- タスクで Project_Name.meta_table_name が使用されている場合、本番環境テストメタテーブルに書き込みます。本番環境テストメタテーブルにアクセスする権限がない場合は、エラーが発生します。本番環境テストメタテーブルの権限の申請方法については、「テーブル権限の申請、更新、および放棄」をご参照ください。
- タスクで ${Project_Name}.meta_table_name または meta_table_name のみを使用している場合、開発環境テストメタテーブルに書き込みます。

[起動] をクリックします。

開発/本番環境でリアルタイム統合インスタンスを起動する

[リアルタイムインスタンスの起動] ダイアログボックスで、起動範囲 に基づいて異なるパラメーターを構成します。

増分 + フル

パラメーター	説明
起動範囲	増分 + フルを選択します。リアルタイム統合ノードの同期ソリューションがリアルタイム増分 + フルに設定されている場合にのみ、増分 + フルを選択できます。重要オブジェクトをフルモードで同期すると、対応するターゲットテーブルのデータがクリアされます。
起動モード	再開と初期化をサポートしています。再開：未完了のすべての同期オブジェクト（完了、停止、または無視されたオブジェクトを除く）に対して一時的なフル同期タスクを起動します。すべての一時タスクが完了した後、リアルタイム増分同期タスクが起動されます。初期化：すべての同期オブジェクトに対して一時的なフル同期タスクを起動します。すべての一時タスクが完了した後、リアルタイム増分同期タスクが起動されます。
リソースグループ	現在のリアルタイムインスタンスのスケジュールリソースグループを設定します。デフォルトは、タスクの作成時にフル同期に指定されたリソースグループです。
メモリ	小数または負の数はサポートしていません。最大メモリは 16384MB（16GB）を超えることはできません。デフォルト値は 4096MB です。空の場合、デフォルトは 1024MB です。
レート制限	データボリュームサイズに基づいて速度を制限します。小数または負の数はサポートしていません。デフォルト値は 10M/s です。空の場合、レート制限はありません。
同時実行性	フルタスクの予想される最大同時実行性を設定します。小数または負の数はサポートしていません。デフォルト値は 10 です。空の場合、同時実行性は 3 です。

増分のみ

パラメーター	説明
起動範囲	増分のみを選択します。
起動モード	ステートレス起動をサポートしています。これは、初期状態なしで起動することを意味します。リアルタイム増分同期タスクのみが起動されます。開始されていませんおよび同期に失敗しましたフル同期一時タスクのステータスは無視に設定されます。
ソースデータタイムゾーン	ソースデータソースのタイムゾーン。これは変更できません。
データ読み取り時点	特定の開始時刻を設定すると、startTime をサポートするすべてのソーステーブル（Log Service、Kafka、MySQL、MongoDB、OceanBase）がその時点からデータを読み取ります。デフォルトは現在の時刻です。重要 SQL ジョブのパラメーター構成は、この指定された開始時刻よりも優先されます。 Fusioninsight Flink エンジンは、特定の時点からのデータ読み取りをサポートしていません。

[起動] をクリックします。

Alibaba Blink リアルタイムエンジン

開発環境でリアルタイムインスタンスを起動する

[テストインスタンスパラメーター構成] ダイアログボックスで、テストインスタンスパラメーターの特定の値を構成します。

パラメーター	説明
データ読み取り時点	ソースデータを読み取るための消費時刻を設定します。
テスト方法	Flink リアルタイムタスクのテスト方法には、ログ出力とテストテーブルへの書き込みが含まれます。ログ出力を選択すると、テスト結果はログに書き込まれ、テストテーブルは生成されません。テストテーブルへの書き込みを選択すると、テスト結果はログに書き込まれませんが、対応するテストテーブルが生成されます。重要物理ストレージエンジン（HBase、Kafkaなど）にテストテーブルがすでに存在することを確認する必要があります。存在しない場合、リアルタイムインスタンスは実行に失敗します。
入力テーブル	構成は不要です。現在のリアルタイムインスタンスの入力テーブル名が表示されます。
データタイムスタンプ	データタイムスタンプを設定して、時間変数に値を割り当てることができます。時間変数は、データタイムスタンプに基づいて計算されます。デフォルトは現在の日付です。

テストインスタンスの実行中に、システムが開発テーブルから読み取るか、本番環境テストメタテーブルから読み取るかは、メタテーブルの構成によって異なります。メタテーブルの構成を表示するには、「メタテーブルを作成する」をご参照ください。

メタテーブルの開発環境テスト読み取りパラメーターが開発テーブルに設定されている場合:
- タスクで Project_Name_dev.meta_table_name が使用されている場合、開発環境テストメタテーブルから読み取ります。
- タスクで Project_Name.meta_table_name が使用されている場合、本番メタテーブルから読み取ります。本番環境テストメタテーブルへのアクセス権限がない場合は、エラーが発生します。本番環境テストメタテーブルの権限の申請方法については、「テーブル権限の申請、更新、および放棄」をご参照ください。
- タスクで ${Project_Name}.meta_table_name または meta_table_name だけが使用されている場合、開発環境テストメタテーブルから読み取ります。
メタテーブルの開発環境テスト読み取りパラメーターが本番テーブルに設定されている場合:
- タスクで Project_Name_dev.meta_table_name が使用されている場合、開発環境テストメタテーブルから読み取ります。
- タスクで Project_Name.meta_table_name が使用されている場合、本番環境テストメタテーブルから読み取ります。
- タスクで ${Project_Name}.meta_table_name または meta_table_name だけが使用されている場合、本番環境テストメタテーブルから読み取ります。
メタテーブルの開発環境テスト書き込みパラメーターが他のテストテーブルに設定されている場合:
- タスクで Project_Name_dev.meta_table_name が使用されている場合、開発テストメタテーブルに書き込みます。
- タスクで Project_Name.meta_table_name が使用されている場合、本番環境テストメタテーブルに書き込みます。本番環境テストメタテーブルへのアクセス権限がない場合は、エラーが発生します。本番環境テストメタテーブルの権限の申請方法については、「テーブル権限の申請、更新、および放棄」をご参照ください。
- タスクで ${Project_Name}.meta_table_name または meta_table_name だけが使用されている場合、開発環境テストメタテーブルに書き込みます。

[起動] をクリックします。

本番環境でリアルタイムインスタンスを起動する

[リアルタイムインスタンスの起動] ダイアログボックスで、起動情報を設定します。

パラメータ	説明
データ読み取り時点	ソースデータを読み取るための消費時間を設定します。
データタイムスタンプ	データタイムスタンプを設定して、時間変数に値を割り当てることができます。時間変数は、データタイムスタンプに基づいて計算されます。デフォルトは現在日です。

[起動] をクリックします。