Dataphin:リアルタイムインスタンスの管理

セクション

説明

①フィルタと検索エリア

インスタンスオブジェクト名または ID を入力してリアルタイムインスタンスを検索できます。これは、リアルタイムオブジェクト名または ID がわかっている場合のクイック検索に役立ちます。

• [停止したインスタンス]: 停止済みで、現在ログインしているアカウントがスケジューリングオーナーであるインスタンス。

• [本日操作したインスタンス]: 本日操作済みで、現在ログインしているアカウントがスケジューリングオーナーであるインスタンス。

• [フィルタを展開]: [フィルタ] をクリックしてすべてのフィルタオプションを展開します。これには、次のものが含まれます。

  • [サブタイプ]: FLINK_SQL、FLINK_TEMPLATE_SQL、FLINK_DATASTREAM とリアルタイム統合 が含まれます。

  • [実行ステータス]: 完了、開始中、起動失敗、実行中、失敗、停止中、停止など、フィルタリング用に複数のインスタンス実行ステータスを選択できます。

  • [最後のオペレーター]: インスタンスの最後のオペレーターでフィルタリングします。

  • [オーナー]: インスタンスの O&M オーナーでフィルタリングします。

  • [エンジンタイプ]: Ververica Flink、Blink、Flink、および FusionInsight Flink を含むエンジンタイプでフィルタリングします。

  • [クラスタ]: Ververica Flink リアルタイムコンピューティングエンジンのクラスタ ID。

  • [エンジンバージョン]: インスタンスで使用されるエンジンバージョン。

  • [操作日時]: インスタンスが操作された日時。

  • [プロジェクト]: タスクが属するプロジェクトでフィルタリングします。現在ログインしているユーザーが O&M-Access Directory 権限を持つ複数のプロジェクトを選択できます。

• [リセット]: すべてのフィルタオプションを開いた後、[リセット] をクリックして、選択したフィルタ条件をすばやくクリアできます。

• [インスタンス統計の表示]: クリックしてインスタンス統計ページにジャンプし、詳細を表示します。 詳細については、「インスタンス統計の表示」をご参照ください。

• [インスタンスリストのエクスポート]: クリックして、フィルタリング/検索されたインスタンスを .csv 形式でエクスポートします。

• [更新]: [更新] アイコンをクリックして、現在のリアルタイムタスクリストを更新します。

②リアルタイムインスタンスリスト

リアルタイムインスタンスページには、システムによって生成されたリアルタイムインスタンスがリスト形式で表示されます。 リアルタイムインスタンスリストには、インスタンスオブジェクト、実行ステータス、最後のオペレーター、最終更新日時、オーナー、プロジェクトなどの情報が含まれています。

• [インスタンスオブジェクト]: リアルタイム タスクが送信され、オペレーションセンターに公開されると、リアルタイム インスタンス オブジェクトが生成されます。初期の実行ステータスは 停止 で、手動で開始できます。

• [実行ステータス]: インスタンスの現在の実行ステータス。開始中、実行中、停止中、停止、失敗、起動失敗などがあります。 詳細については、「リアルタイムインスタンスの実行ステータスの説明」をご参照ください。

• [消費遅延 (秒)]: タスクの遅延。データソース消費の遅延です。

• [最後のオペレーター]: インスタンスの実行時に消費されたリソース。

• [最終更新日時]: インスタンスを最後に操作したアカウント。

• [オーナー]: インスタンスの O&M オーナー。

• [プロジェクト]: インスタンスが属するプロジェクト。プロジェクトの英語名 (プロジェクトの中国語名) の形式で表示されます。

• [エンジンタイプ]: 現在のリアルタイムインスタンスで使用されるエンジンタイプ。

• [クラスタ]: リアルタイムインスタンスが実行されているクラスタ。これは Ververica Flink リアルタイムエンジンにのみ適用されます。他のエンジンインスタンスの場合は、空として表示されます。

• [リソースキュー]: リアルタイムインスタンスが実行されているリソースキュー。これは Blink、Flink リアルタイムエンジンにのみ適用されます。他のエンジンインスタンスの場合は、空として表示されます。

• [エンジンバージョン]: リアルタイムインスタンスが実行されているエンジンバージョン。

リストの [アクション] 列には、リアルタイムインスタンスでサポートされている O&M 管理操作が表示されます。 リアルタイムインスタンスでサポートされている個々の O&M 操作については、「個々の操作」をご参照ください。

③バッチ操作

バッチ操作エリアで提供される開始、停止、および非公開の O&M 機能を使用して、リアルタイムインスタンスをバッチ処理し、運用効率を向上させることができます。

リアルタイムインスタンスでサポートされているバッチ O&M 操作については、「バッチ操作」をご参照ください。

ステータスアイコン

ステータス

説明

完了

境界付きストリーミングデータの場合、完了したインスタンス。

開始中

インスタンスは開始されましたが、システムはまだ実行を開始していません。

実行中

インスタンスは実行中です。

停止中

インスタンスの停止操作がトリガーされ、システムはインスタンスの停止を実行しています。

停止

実行中のインスタンスは停止されました。

失敗

インスタンスの実行に失敗しました。

起動失敗

インスタンスの起動に失敗しました。

操作

説明

開始

対象のリアルタイムインスタンスの [アクション] 列にある アイコンをクリックして、現在のリアルタイムインスタンスを開始します。 具体的な操作については、「リアルタイムインスタンスの開始」をご参照ください。

停止

対象のリアルタイムインスタンスの [アクション]実行中 列にある アイコンをクリックして、現在の のリアルタイムインスタンスを停止します。 [ステートレス停止] と [現在のステータスを保持して停止] の 2 つの停止方法がサポートされています。

• ステートレス停止: 現在の状態（セーブポイント）を保持しません。ジョブは次回起動時にステートレスで開始されます。

  重要

  ステートレス停止は、以前に保存された Savepoint をクリアしますが、Checkpoint はクリアしません。

• 現在の状態を保持して停止: 現在の状態（セーブポイント）を保持し、次回起動時に現在の状態からジョブを再開できます。

非公開

対象のリアルタイムインスタンスの [アクション]停止済み実行に失敗しましたステップ 3: 列にある アイコンをクリックして、本番環境でリアルタイムインスタンスを非公開にします。 システムは、、、 のステータスを持つリアルタイムインスタンスの非公開をサポートしています。

実行分析の表示

アイコンを、対象のリアルタイム インスタンスの [アクション] 列でクリックして、実行中の情報、データ曲線、フェイルオーバー、および現在のリアルタイム インスタンスのその他のパラメーターを表示します。

Apache Flink コンピュートエンジンについて。詳細については、「実行中の分析を表示する」をご参照ください。

Ververica Flink または Blink リアルタイムエンジンを使用するリアルタイムインスタンスの場合。詳細については、「ジョブ詳細の表示」をご参照ください。

リアルタイムタスクの表示

アイコンを、対象のリアルタイム インスタンスの [アクション] 列でクリックし、[リアルタイム ノードの表示] を選択して、現在のインスタンスを生成したタスク ページに入り、リアルタイム タスクの詳細を表示します。

インスタンスコードの表示

対象のリアルタイムインスタンスの [アクション] 列にある アイコンをクリックし、[インスタンスコードの表示] を選択して、現在のインスタンスを生成したタスクコードを表示します。

インスタンスパラメータの表示

アイコンを、対象のリアルタイム インスタンスの [アクション] 列でクリックし、[インスタンス パラメーターの表示] を選択して、実行時のインスタンスのパラメーターを表示します。たとえば、metrics.reporter.promappmgr.port などのパラメーターです。

同期オブジェクトの表示

対象のリアルタイムインスタンスの [アクション] 列にある アイコンをクリックし、[同期オブジェクトの表示] を選択して、リアルタイムインスタンス詳細の [同期オブジェクト]差分同期フル同期 タブを開きます。これには、 と が含まれます。

• 増分同期: 実行ステータス、開始実行時間、遅延、および最新の読み取り位置情報を表示します。開始、停止、実行ログの表示、およびノードコード操作の表示をサポートします。

  • 実行ステータス: 元のリアルタイム統合タスクの実行ステータス。完了、開始中、起動失敗、実行中、失敗、停止中、停止を含みます。タスクが失敗した場合、エラーの理由を確認できます。リアルタイムタスクが一時停止されている場合、タスクステータスは実行中ですが、ここでの実行ステータスは実行中（一時停止）と表示されます。

  • 開始実行時間: リアルタイム増分同期の開始時刻です。

  • 遅延: リアルタイム増分タスクの遅延。

  • 最新の読み取り位置: 読み取り済みの時点です。

• フル同期: 全体の同期ステータス、同期進捗状況、ソースオブジェクト、ターゲットオブジェクト、ステータス、同期時間、期間、速度、データ量、およびその他の情報を表示します。 ソース/ターゲットオブジェクト名を入力して検索したり、オブジェクト同期ステータスでフィルタリングしたりすることができます。

  • 全体の同期ステータス: 完全同期におけるすべてのソースオブジェクトの全体的な同期ステータス。開始されていません、同期中、同期完了、同期失敗など。

    • 未開始: すべてのソース オブジェクトの同期ステータスは 未開始 です。未開始 ステータスの場合、同期の進捗状況は表示されません。

    • 同期中: 同期中ステータスのソース オブジェクトがあります。

    • 同期完了: すべてのソースオブジェクトの同期ステータスには、同期完了、無視、および停止のみが含まれます。

    • 同期に失敗しました: 同期に失敗したステータスのソースオブジェクトがあります。

  • 同期進捗状況: フル同期の全体的な進捗状況。 完了数/オブジェクト総数 として表示されます。

  • ソースオブジェクト、ターゲットオブジェクト: スキーマ.ソース/ターゲット テーブル名、ソース/ターゲット データソース名 として表示されます。

  • ステータス: 未開始、停止中、停止済み、無視、同期中、同期失敗、同期完了が含まれます。

    • 開始されていません: 実行されていません。同期を開始する前に増分タスクが一時停止するのを待機しています。

    • 停止中: 同期における最後のテンポラリ タスクは手動で停止されましたが、停止処理が完了していません。

    • 停止: 同期における最後のテンポラリ タスクが手動で停止されました。

    • 注意:: タスクが開始されていないか失敗した場合、無視操作をクリックすると、タスクステータスは無視と表示されます。

    • 同期中: 最後のテンポラリ タスクが実行中です。

    • 同期に失敗しました: 最後のテンポラリ タスクの実行に失敗しました。

    • 同期完了: 最後のテンポラリ タスクは正常に実行されました。

  • 同期時間: 一時タスクの開始/終了時刻です。開始時間 ～ 終了時間 として表示されます。開始または終了していない場合は、- と表示されます。

  • 期間: 一時タスクの合計実行時間です。

  • 速度: 同期速度。 最後のテンポラリタスクによって同期された合計データ量 / 期間 として計算されます。

  • 注:: 最後のテンポラリタスクによって同期された合計データ量。

  • 操作: 増分同期の実行ステータスが実行中の場合のみ、ログの表示、実行、停止、および無視操作がサポートされます。

    • [ログの表示]: クリックしてログを表示し、最後のテンポラリ タスクのログ表示ページを開きます。

    • 実行バッチ実行、: ステータスが無視、停止、同期失敗、または同期完了の場合にのみサポートされます。同期オブジェクトが完全に同期されると、対応するターゲットテーブルのデータとタスクのスケジューリングリソースグループがクリアされ、スケジューリングリソースグループを調整できます。

    • 停止、一括停止: 同期中のオブジェクトのみが停止操作をサポートしており、停止後もタスク実行をブロックしません。

    • 無視、一括無視: 開始されていないオブジェクト、または同期に失敗したオブジェクトのみが、無視操作をサポートします。無視した後、タスク実行はブロックされません。

同期オブジェクトの更新

対象のリアルタイムインスタンスの [アクション] 列にある アイコンをクリックし、[同期オブジェクトの更新] を選択し、 ダイアログボックスで [OK][同期オブジェクトの更新] をクリックして、新しい同期範囲に従って実行します。

• 同期オブジェクトの範囲のみが変更されました:

  • 追加された同期オブジェクト: 増分同期は 一時停止 され（タスクステータスは引き続き「実行中」）、追加されたオブジェクトに対して一時的なフルタスクが実行されます。正常に実行されたフルタスクは再実行されず、新しく追加されたすべての一時的なフルタスクが完了した後に増分同期が続行されます。

  • 削除された同期オブジェクト: 同期オブジェクトが削除され、縮小された同期範囲で増分同期タスクが引き続き実行されます。

• 同期オブジェクト範囲以外の変更（タスク構成の調整、ターゲットテーブルの調整など）: 増分同期は停止します。同期範囲に変更がある場合は、新しく追加されたオブジェクトの同期が最初に完了し、その後、増分同期タスクが再開されます。既存のフルタスクの場合、ユーザーは必要に応じて同期オブジェクトページでオブジェクトごとに手動で処理できます。

操作

説明

開始

[リアルタイム開発インスタンスの開始]:

1. 複数のリアルタイム開発インスタンスを選択するか、[このページのすべてを選択] をクリックし、[開始] をクリックして、[リアルタイム開発インスタンスの開始] を選択します。

2. [リアルタイム開発インスタンスのバッチ開始] ダイアログボックスで、開始情報を構成します。

   • n 個のインスタンスを開始: 開始するインスタンスの数とインスタンス名をコンマ (,) 区切りで表示します。

   • [開始方法]: ステートレス開始と有効な状態からの開始をサポートしています。

     • [ステートレス開始]: 初期状態なしで開始します。

     • [有効な状態から開始]: 既存の 有効な状態から開始します。

       説明

       選択したインスタンスに ステートレス インスタンスが含まれているステートレス 場合、インスタンスのバッチ開始時には 開始のみがサポートされます。

   • [データ読み取り時点]: 特定の開始時刻を設定すると、startTime をサポートするすべてのソーステーブル (Log Service、Kafka、MySQL、MongoDB、OceanBase) がその時点からデータの読み取りを開始します。

     説明

     SQL ジョブのコードパラメータ構成は、この指定された開始時刻よりも優先されます。

   • [データタイムスタンプ]: データタイムスタンプを構成することにより、時間変数に値を割り当てることができます。 時間型の変数は、データタイムスタンプに基づいて計算されます。デフォルトは現在の日付です。

     説明

     SQL ジョブのコードパラメータ構成は、この指定された開始時刻よりも優先されます。

3. [OK] をクリックして開始します。

停止

[リアルタイム開発インスタンスの停止]:

1. 複数のリアルタイム開発インスタンスを選択するか、[このページのすべてを選択] を選択し、[停止] をクリックして、[リアルタイム開発インスタンスの停止] を選択します。

2. [リアルタイム開発インスタンスのバッチ停止] ダイアログボックスで、開始情報を構成します。

   • n 個のインスタンスを停止: 停止するインスタンスの数とインスタンス名をコンマ (,) 区切りで表示します。

   • [停止方法]:

     • [ステートレス停止]: 現在の状態を保持しません。ジョブは次回起動時に状態なしで開始されます。

     • [現在のステータスを保持して停止]: 現在の状態を保持します。ジョブは次回起動時に現在の状態から開始できます。

非公開

本番環境で現在選択されているリアルタイムインスタンスを非公開にします。

セクション

説明

①ノード情報バー

現在選択されているノードの概要情報を表示します。 また、[ノード詳細の表示] をクリックして、詳細なノード情報を表示することもできます。

注: ノードの詳細、同期オブジェクト (リアルタイム増分 + フル統合タスクから生成されたリアルタイムインスタンスでのみサポート)、 実行ログ、操作ログ、ノードコード、タスクパラメータ (計算タスクインスタンスでのみサポート) が含まれます。

• ノードの詳細: 現在のノードの基本情報と実行情報が含まれています。基本情報には、ノード名、ID、インスタンス ID、プロジェクトなどが含まれます。実行情報には、実行ステータス、実行時間などが含まれます。

• 同期オブジェクト: ソースオブジェクトとターゲットオブジェクトを含み、フル同期と増分同期のステータスなどの情報を表示します。 増分同期タスクのステータスが実行中の場合、フル同期の [実行]、[停止]、および [無視] を手動で実行できます。

  実行時には、スケジューリングリソースグループ、メモリ、レート制限、同時実行性、およびシャードキー (単一の同期オブジェクトの実行時にのみサポート) も構成する必要があります。

  • スケジューリングリソースグループ: フル同期タスクで使用されるスケジューリングリソース。デフォルトではプロジェクトのデフォルトリソースグループが使用されます。

  • : チャネル構成。小数または負の数はサポートしていません。 最大メモリは 16384MB (16GB) を超えることはできず、デフォルト値は 4096MB です。 空の場合、デフォルトは 1024MB1024 MB です。

  • レート制限: データ ボリューム サイズに基づいて速度を制限します。10 進数または負の数はサポートしていません。デフォルト値は 10M/s です。空の場合、レート制限はありません。

  • 同時実行性: フル タスクの最大同時実行数を設定するために使用されるチャネル構成。10 進数または負の数はサポートされていません。デフォルト値は 10 です。空の場合、同時実行数は 3 です。

  • シャードキー: データは、設定されたフィールドに基づいてシャーディングされ、同時実行性と組み合わせて使用​​することで同時読み取りを実現します。 デフォルトでは空で、その場合はシステムが自動的にフィールドを検出します。 ソースデータテーブルの列をシャードキーとして使用できます。シャードキーは整数または日付時刻型である必要があります。そうでない場合、シャーディングが不正確になる可能性があります。 また、転送パフォーマンスを確保するために、プライマリキーまたはインデックス付きの列をシャードキーとして使用することをお勧めします。

• 実行ログ: 現在のノードの実行ログを表示します。実行に失敗したときにダーティデータが生成された場合は、ダーティデータファイルをダウンロードできます。

• 操作ログ: 現在のノードの操作ログを表示します。これには、操作時間、オペレーター、および具体的な操作が含まれます。

• 実行分析: データダッシュボードを使用して、選択した期間内のさまざまな実行データ（エラー数、バックプレッシャーデータなど）を表示します。

• ログ: 起動ログ、実行ログ、およびエラーメッセージを個別に表示します。

• ノードコード: 現在のノードの特定のコード情報を表示します。

• タスク パラメーター: 現在のノードのタスク パラメーターを表示します。

②ノードの検索とフィルタエリア

メインノードから上下の展開レベルをすばやく設定します。 展開されたノードが多すぎて表示が困難な場合は、ノード名を検索して、現在の DAG グラフ表示範囲内で特定のノードをすばやく見つけることができます。

③スケジューリング依存関係グラフ

インスタンスのスケジューリング依存関係グラフを表示し、上下にさらにノードを展開することをサポートし、上流ノードと下流ノードでの O&M 操作もサポートしています。

④キャンバス調整エリア

DAG 表示比率をすばやく調整します。表示比率の設定 (デフォルトは 100%)、現在の比率での拡大 (最大 200%)、現在の比率での縮小 (最小 20%)、キャンバスへの適応、全画面表示などが含まれます。 同時に、現在の DAG グラフのメインノードのノード ID とノード名を表示します。

操作

説明

[親ノードを展開]

DAG グラフ内のメインノードの異なるレベルにある依存ノードを展開します。

[子ノードを展開]

[リアルタイムタスクの表示]

現在のインスタンスノードを生成したタスクノード DAG グラフを入力して、タスクノードの詳細、上流および下流のノード情報を確認し、タスクノードで O&M 管理を実行します。詳細については、「リアルタイムタスクの表示と管理」をご参照ください。

[ノードコードの表示]

現在のインスタンスを生成したタスクコードを表示します。

[実行ログの表示]

インスタンスノードの実行ログを表示します。同時に、タスクにダーティデータがある場合は、[ダーティデータファイルをダウンロード] をクリックしてダーティデータをローカルマシンにダウンロードして表示できます。これには、ダーティデータの生成時間、エラー内容、エラー原因が含まれます。ファイルはデフォルトで 7 日間保持されます。

[タスクパラメータの表示]

現在のインスタンスノードのタスクパラメータを表示します。たとえば、execution.checkpointing.interval などのタスクパラメータ情報です。

[開発ノードの編集]

Dev プロジェクトで現在のインスタンスノードを生成したタスクのタスク編集ページに入り、タスクを編集します。Dev-Prod 開発モードにのみ適用されます。

[ノードの編集]

現在のインスタンスノードを生成したタスクのタスク編集ページに入り、タスクを編集します。基本モードのみに適用されます。

[生成されたノードの表示]

Prod プロジェクトで現在のインスタンスノードを生成したタスクのタスク構成を表示します。

操作ログの表示

現在のインスタンスの操作ログを表示します。操作日時、操作者、および操作内容が含まれます。

[実行中の分析を表示]

実行中の情報、データ曲線、フェイルオーバー、および現在のリアルタイムインスタンスのその他のパラメーターを表示します。

Ververica Flink または Alibaba Blink リアルタイムエンジンを使用するリアルタイムインスタンスの場合。 詳細については、「ジョブ詳細の表示」をご参照ください。

Flink リアルタイムエンジンを使用するリアルタイムインスタンスの場合。 詳細については、「実行中の分析を表示」をご参照ください。

同期オブジェクトの表示

現在のリアルタイムインスタンスの詳細の [同期オブジェクト] タブで、[増分同期] と [フル同期] を含む同期オブジェクトの詳細を表示します。フィールドの詳細については、「リアルタイムインスタンスの管理」の「個々の操作で同期オブジェクトを表示する」セクションをご参照ください。

同期オブジェクトの更新

[同期オブジェクトの更新] をクリックし、[同期オブジェクトの更新] ダイアログボックスで [OK] をクリックして、新しい同期範囲に従って現在のリアルタイムインスタンスを実行します。フィールドの詳細については、「リアルタイムインスタンスの管理」の「個々の操作」セクションにある「同期オブジェクトの更新」をご参照ください。

開始

現在のリアルタイム インスタンスを開始します。具体的な操作については、「リアルタイム インスタンスを開始する」をご参照ください。

停止

現在実行中または完了（ステートレス停止のみサポート）しているリアルタイムインスタンスを停止します。[ステートレス停止] と [現在の状態を保持したまま停止] メソッドがあります。

• ステートレス停止: 現在の状態（セーブポイント）を保持しません。タスクは、次回起動時に状態なしで開始されます。

• 現在の状態を保持したまま停止: 現在の状態（セーブポイント）を保持します。タスクは、次回起動時に現在の状態から開始できます。

非公開

本番環境でリアルタイム インスタンスを非公開にします。システムは、停止した リアルタイム インスタンスの非公開をサポートしています。