Dataphin:リアルタイムインスタンスの管理

ブロック

説明

① フィルターと検索エリア

インスタンスオブジェクト名または ID を入力して、リアルタイムインスタンスを検索します。この機能は、リアルタイムオブジェクト名または ID がわかっている場合のクイック検索に役立ちます。

• 私が停止したインスタンス：停止済みで、現在のユーザーがスケジュールオーナーであるインスタンス。

• 本日私が操作したインスタンス：現在のユーザーが本日操作し、かつ現在のユーザーがスケジュールオーナーであるインスタンス。

• プロジェクト：ノードが属するプロジェクトでフィルターします。現在のユーザーが O&M-ディレクトリへのアクセス 権限を持つ複数のプロジェクトを選択できます。

• フィルターの展開：フィルター をクリックして、すべてのフィルターオプションを展開します。オプションには以下が含まれます：

  • サブタイプ：Flink SQL、Flink テンプレート SQL、Flink DataStream、およびリアルタイム統合が含まれます。

  • 実行ステータス：1 つ以上の実行ステータスを選択してインスタンスをフィルターします。ステータスには、完了、起動中、起動失敗、実行中、失敗、停止中、停止済みが含まれます。

  • 最終オペレーター：インスタンスを最後に操作したユーザーでフィルターします。

  • オーナー：インスタンスの O&M オーナーでフィルターします。

  • エンジンタイプ：DPI エンジンタイプでフィルターします。タイプには、Ververica Flink、Blink、Flink、および FusionInsight Flink が含まれます。

  • クラスター：Ververica Flink リアルタイムコンピューティングエンジンのクラスター ID。

  • エンジンバージョン：インスタンスが使用するデータベースエンジンバージョン。

  • 操作日時：インスタンスが操作された時間。

• リセット：すべてのフィルターオプションを開いた後、リセット をクリックして、選択したフィルター条件をすばやくクリアします。

② リスト操作

• インスタンス統計の表示：クリックするとインスタンス統計ページに移動し、詳細を表示します。詳細については、「インスタンス統計の表示」をご参照ください。

• インスタンスリストのエクスポート：クリックして、フィルターまたは検索されたインスタンスをエクスポートします。エクスポートされるファイルは .csv 形式です。

• リストヘッダーのカスタマイズ： アイコンをクリックして、リストに表示する項目を選択し、その順序を調整します。

  説明

  • 最初の列と操作列は非表示にしたり、順序を変更したりすることはできません。

  • ブラウザのキャッシュをクリアしたり、ブラウザを切り替えたりすると、ヘッダー設定はデフォルトにリセットされます。

• リストの更新： アイコンをクリックして、現在のリストを更新します。

③ リアルタイムインスタンスリスト

リアルタイムインスタンスページには、システムが生成したリアルタイムインスタンスが一覧表示されます。リストには、インスタンスオブジェクト、実行ステータス、最終オペレーター、最終更新日時、オーナー、プロジェクトなどの情報が含まれます。

• インスタンスオブジェクト：リアルタイムタスクが送信され、オペレーションセンターに公開されると、リアルタイムインスタンスオブジェクトが生成されます。その初期実行ステータスは 停止済み です。手動で開始できます。

• 実行ステータス：インスタンスの現在の実行ステータス。ステータスには、起動中、実行中、停止中、停止済み、失敗、起動失敗が含まれます。詳細については、「リアルタイムインスタンスの実行ステータス」をご参照ください。

• 消費レイテンシー (秒)：ノードのレイテンシー。これはデータソース消費のレイテンシーです。

• 最終オペレーター：実行時にインスタンスによって消費されるリソース。

• 最終更新者：インスタンスを最後に更新したアカウント。

• オーナー：インスタンスの O&M オーナー。

• プロジェクト：インスタンスが属するプロジェクト。フォーマットは プロジェクト英語名 (プロジェクト中国語名) です。

• エンジンタイプ：現在のリアルタイムインスタンスが使用する DPI エンジンタイプ。

• クラスター：リアルタイムインスタンスが実行されるクラスター。これは Ververica Flink リアルタイムエンジンにのみ適用されます。他の DPI エンジンインスタンスの場合、このフィールドは空です。

• リソースキュー：リアルタイムインスタンスが実行されるリソースキュー。これは Blink および Flink リアルタイムエンジンにのみ適用されます。他の DPI エンジンインスタンスの場合、このフィールドは空です。

• エンジンバージョン：リアルタイムインスタンスが実行されるデータベースエンジンバージョン。

リストの 操作 列には、リアルタイムインスタンスでサポートされている O&M 操作が表示されます。個々の O&M 操作については、「個別操作」をご参照ください。

④ バッチ操作

バッチ操作エリアの開始、停止、非公開機能を使用して、リアルタイムインスタンスをバッチ処理します。これにより、運用効率が向上します。

バッチ O&M 操作については、「バッチ操作」をご参照ください。

ステータスアイコン

ステータス

説明

完了

有界ストリームデータを処理するインスタンスが完了しました。

起動中

インスタンスは起動しましたが、そのオペレーティングシステムは実行されていません。

実行中

インスタンスは実行中です。

停止中

停止操作がトリガーされ、システムがインスタンスを停止しています。

停止

実行中のインスタンスが停止しました。

失敗

インスタンスの実行に失敗しました。

起動失敗

インスタンスの起動に失敗しました。

操作

説明

開始

対象のリアルタイムインスタンスの 操作 列で、 アイコンをクリックしてインスタンスを開始します。詳細については、「リアルタイムインスタンスの開始」をご参照ください。

停止

対象のリアルタイムインスタンスの 操作 列で、 アイコンをクリックして 実行中 状態のインスタンスを停止します。2 つの停止モードがサポートされています：ステートレス停止 と 現在の状態を保持して停止。

• ステートレス停止：現在の状態 (Savepoint) を保存しません。次回タスクが開始されるときは、ステートレス開始になります。

  重要

  ステートレス停止は、以前に保存された Savepoint をクリアしますが、チェックポイントはクリアしません。

• 現在の状態を保持して停止：現在の状態 (Savepoint) を保存します。次回タスクが開始されるときに、保存された状態から開始することを選択できます。

非公開

対象のリアルタイムインスタンスの 操作 列で、 アイコンをクリックして、インスタンスを本番環境から非公開にします。停止済み、失敗、または 起動失敗 状態のインスタンスを非公開にできます。

実行分析の表示

対象のリアルタイムインスタンスの 操作 列で、 アイコンをクリックして、インスタンスの実行情報、データ曲線、フェイルオーバー、およびその他のパラメーターを表示します。

コンピュートエンジンは Apache Flink です。詳細については、「実行分析の表示」をご参照ください。

Ververica Flink または Blink リアルタイムエンジンを使用するリアルタイムインスタンスの場合は、「ジョブの詳細を表示する」をご参照ください。

リアルタイムタスクの表示

対象のリアルタイムインスタンスの 操作 列で、 アイコンをクリックし、リアルタイムタスクの表示 を選択します。現在のインスタンスを生成したノードページに移動します。このページでは、リアルタイムタスクの詳細を表示できます。

インスタンスコードの表示

対象のリアルタイムインスタンスの 操作 列で、 アイコンをクリックし、インスタンスコードの表示 を選択して、現在のインスタンスを生成したノードコードを表示します。

インスタンスパラメーターの表示

対象のリアルタイムインスタンスの 操作 列で、 アイコンをクリックし、インスタンスパラメーターの表示 を選択して、インスタンスの実行時パラメーター (例：metrics.reporter.promappmgr.port) を表示します。

同期オブジェクトの表示

対象のリアルタイムインスタンスの 操作 列で、 アイコンをクリックし、同期オブジェクトの表示 を選択して、インスタンス詳細ページの 同期オブジェクト タブを開きます。詳細には、増分同期 と 完全同期 が含まれます。

• 増分同期：実行ステータス、開始時刻、レイテンシー、最新の読み取りオフセットを表示します。実行ログの表示、ノードコードの表示、開始、停止ができます。

  • 実行ステータス：元のリアルタイム統合ノードの実行ステータス。ステータスには、完了、起動中、起動失敗、実行中、失敗、停止中、停止済みが含まれます。ノードの実行に失敗した場合、エラー原因を表示できます。リアルタイムタスクが一時停止している場合、そのステータスは実行中ですが、ここでの実行ステータスは実行中 (一時停止) と表示されます。

  • 開始時刻：リアルタイム増分同期の開始時刻。

  • レイテンシー：リアルタイム増分ノードのレイテンシー。

  • 最新の読み取りオフセット：読み取り済みの時間オフセット。

• 完全同期：全体同期ステータス、同期進捗、ソースオブジェクト、ターゲットオブジェクト、ステータス、同期時間、所要時間、速度、データ量が表示されます。ソースまたはターゲットオブジェクト名で検索し、オブジェクト同期ステータスでフィルターできます。

  • 全体同期ステータス：完全同期におけるすべてのソースオブジェクトの全体同期ステータス。ステータスには、未開始、同期中、完了、失敗が含まれます。

    • 未開始：すべてのソースオブジェクトの同期ステータスが未開始です。この状態では、同期進捗は表示されません。

    • 同期中：1 つ以上のソースオブジェクトが同期中です。

    • 完了：すべてのソースオブジェクトの同期ステータスが完了、無視、または停止済みです。

    • 失敗：1 つ以上のソースオブジェクトの同期に失敗しました。

  • 同期進捗：完全同期の全体進捗。フォーマットは 完了したオブジェクト数/オブジェクト総数 です。

  • ソースオブジェクト と ターゲットオブジェクト：フォーマットは schema.source/target_table_name と source/target_data_source_name です。

  • ステータス：未開始、停止中、停止済み、無視、同期中、失敗、完了が含まれます。

    • 未開始：オブジェクトは実行されていません。増分ノードが一時停止されるのを待ってから同期を開始します。

    • 停止中：同期中だった最後の一次ノードが手動で停止されましたが、まだ停止処理が完了していません。

    • 停止済み：以前の同期タスクが手動で停止されました。

    • 無視：ノードが未開始または失敗したときに無視をクリックすると、ノードステータスは無視と表示されます。

    • 同期中：最新の一次タスクが実行中です。

    • 同期失敗：最後の一次タスクが失敗しました。

    • 同期完了：最後の一次タスクが成功しました。

  • 同期時間：一次ノードの開始時刻と終了時刻。フォーマットは 開始時刻 - 終了時刻 です。ノードが開始または終了していない場合、これは - と表示されます。

  • 所要時間：一次タスクが実行される合計時間。

  • 速度：同期速度。計算式は 最後に完了した一次ノードによって同期された合計データ量/所要時間 です。

  • データ量：最後に完了した一次ノードによって同期された合計データ量。

  • 操作：増分同期 のステータスが 実行中 の場合にのみ、ログの表示、実行、停止、無視ができます。

    • ログの表示：クリックして最後の一次ノードのログページを開きます。

    • 実行 と バッチ実行：ステータスが無視、停止済み、失敗、または完了の場合にのみサポートされます。同期オブジェクトで完全同期が実行されると、対応するターゲットテーブルのデータがクリアされます。ノードのスケジュールリソースグループもクリアされ、調整可能になります。

    • 停止 と バッチ停止：同期中の同期オブジェクトに対してのみサポートされます。オブジェクトを停止しても、ノードの実行はブロックされません。

    • 無視 と バッチ無視：未開始または失敗状態の同期オブジェクトに対してのみサポートされます。オブジェクトを無視しても、ノードの実行はブロックされません。

同期オブジェクトの更新

対象のリアルタイムインスタンスの 操作 列で、 アイコンをクリックし、同期オブジェクトの更新 を選択します。同期オブジェクトの更新 ダイアログボックスで、OK をクリックします。インスタンスは新しい同期範囲に基づいて実行されます。

• 同期オブジェクトの範囲のみが変更された場合：

  • 新しい同期オブジェクトが追加された場合：増分同期は 一時停止 されますが、ノードのステータスは実行中のままです。新しいオブジェクトの一次完全同期ノードが実行されます。正常に実行された完全同期ノードは再実行されません。すべての新しい一次完全同期ノードが完了した後、増分同期が続行されます。

  • 同期オブジェクトが削除された場合：同期オブジェクトが削除されます。増分同期ノードは、より小さい同期範囲で実行を続けます。

• 同期オブジェクトの範囲以外に変更が加えられた場合 (ノード構成の調整やターゲットテーブルの調整など)：増分同期は 停止 します。同期範囲が変更された場合、まず新しいオブジェクトの同期が完了します。その後、増分同期ノードが再起動されます。既存の完全同期ノードについては、必要に応じて同期オブジェクトページでオブジェクトごとに手動で処理できます。

操作

説明

開始

リアルタイム開発インスタンスの開始：

1. 1 つ以上のリアルタイム開発インスタンスを選択するか、このページのすべてを選択 をクリックします。次に、開始 をクリックし、リアルタイム開発インスタンスの開始 を選択します。

2. リアルタイム開発インスタンスのバッチ開始 ダイアログボックスで、開始情報を構成します。

   • n 個のインスタンスを開始：開始するインスタンスの数とその名前を表示します。名前はコンマ (,) で区切られます。

   • 開始モード：ステートレス開始と有効な状態からの開始をサポートします。

     • ステートレス開始：初期状態なしで開始します。

     • 有効な状態から開始：既存 の 有効な状態 から開始します。

       説明

       選択したインスタンスに ステートレス インスタンスが含まれている場合、バッチ開始では ステートレス 開始のみがサポートされます。

   • データ読み取り開始時刻：開始時刻を設定すると、startTime をサポートするすべてのソーステーブルがその時刻からデータの読み取りを開始します。これらのテーブルには、Log Service、Kafka、MySQL、MongoDB、および OceanBase が含まれます。

     説明

     SQL ジョブのコードパラメーター設定は、この指定された開始時刻よりも優先されます。

   • データタイムスタンプ：データタイムスタンプを構成することで、時間変数に値を割り当てます。時間タイプの変数は、データタイムスタンプに基づいて計算され、デフォルトでは現在の日付になります。

     説明

     SQL ジョブのコードパラメーター設定は、この指定された開始時刻よりも優先されます。

3. OK をクリックしてインスタンスを開始します。

停止

リアルタイム開発インスタンスの停止：

1. 1 つ以上のリアルタイム開発インスタンスを選択するか、このページのすべてを選択 を選択します。次に、停止 をクリックし、リアルタイム開発インスタンスの停止 を選択します。

2. リアルタイム開発インスタンスのバッチ停止 ダイアログボックスで、情報を構成します。

   • n 個のインスタンスを停止：停止するインスタンスの数とその名前を表示します。名前はコンマ (,) で区切られます。

   • 停止モード：

     • ステートレス停止：現在の状態を保存しません。次回タスクが開始されるときは、ステートレス開始になります。

     • 現在の状態を保持して停止：現在の状態を保存します。次回タスクが開始されるときに、保存された状態から開始することを選択できます。

非公開

選択したリアルタイムインスタンスを本番環境から非公開にします。

セクション

説明

① ノード情報バー

選択したノードの概要情報を表示します。ノード詳細の表示 をクリックして、詳細情報を確認します。

Ververica Flink リアルタイムエンジン：ノード詳細、同期オブジェクト (増分および完全リアルタイム統合ノードから生成されたリアルタイムインスタンスでのみサポート)、実行ログ、操作ログ、ノードコード、およびタスクパラメーター (コンピュートタスクインスタンスでのみサポート) が含まれます。

• ノード詳細：現在のノードの基本情報と実行情報が含まれます。基本情報には、ノード名、ID、インスタンス ID、プロジェクトが含まれます。実行情報には、実行ステータスと実行時間が含まれます。

• 同期オブジェクト：ソースオブジェクトとターゲットオブジェクトが含まれます。完全同期と増分同期のステータスを表示します。増分同期ノードが実行中状態の場合、手動で完全同期を 実行、停止、無視 できます。

  実行時には、スケジュールリソースグループ、メモリ、レート制限、並列度、およびシャードキー (単一の同期オブジェクトを実行する場合のみサポート) も構成する必要があります。

  • スケジュールリソースグループ：完全同期ノードが使用するスケジュールリソース。デフォルトでは、プロジェクトのデフォルトリソースグループが使用されます。

  • メモリ：チャネル構成。小数または負の数は入力しないでください。最大メモリは 16384 MB (16 GB) を超えることはできません。デフォルト値は 4096 MB です。これを空のままにすると、デフォルト値は 1024 MB になります。

  • レート制限：データ量に基づいて速度を制限します。小数または負の数は入力しないでください。デフォルト値は 10 MB/s です。これを 空 のままにすると、速度は 制限されません。

  • 並列度：チャネル構成。完全同期ノードの最大希望並列度を設定します。小数または負の数は入力しないでください。デフォルト値は 10 です。これを 空 のままにすると、並列度は 3 になります。

  • シャードキー：構成されたフィールドに基づいてデータをチャンク化します。並列度と組み合わせて使用し、同時読み取りを実現します。このパラメーターはデフォルトで 空 です。空の場合、システムは使用するフィールドを自動的に識別します。ソースデータテーブルの列をシャードキーとして使用できます。フィールドは 整数 または 日時 型である必要があります。そうでない場合、チャンク化が不正確になる可能性があります。転送パフォーマンスを確保するために、プライマリキーまたはインデックス付きの列をシャードキーとして使用することを推奨します。

• 実行ログ：現在のノードの実行ログを表示します。ノードが失敗してダーティデータを生成した場合、ダーティデータファイルをダウンロードできます。

• 操作ログ：現在のノードの操作ログを表示します。これには、操作時間、オペレーター、および具体的な操作が含まれます。

• 実行分析：データダッシュボードを使用して、選択した期間内のさまざまな実行データ (失敗回数やバックプレッシャーデータなど) を表示します。

• ログ：起動ログ、実行ログ、およびエラーメッセージを表示します。

• ノードコード：現在のノードのコードを表示します。

• タスクパラメーター：現在のノードのタスクパラメーターを表示します。

② ノード検索およびフィルターエリア

中央ノードから展開する上流および下流のレベル数をすばやく設定します。多くのノードが展開されて表示が困難な場合は、ノード名を検索して現在の DAG 表示範囲内の特定のノードをすばやく見つけることができます。

③ スケジューリング依存関係グラフ

インスタンスのスケジューリング依存関係グラフを表示します。より多くのの上流および下流ノードを展開できます。また、上流および下流ノードで O&M 操作を実行することもできます。DAG 内のノードにカーソルを合わせると、その名前、タイプ、スケジューリングサイクル、オーナー、および説明が表示されます。

④ キャンバス調整エリア

DAG の表示比率をすばやく調整します。特定の比率 (デフォルトは 100%) を設定したり、拡大 (最大 200%)、縮小 (最小 20%)、キャンバスに合わせる、全画面表示にすることができます。このエリアには、現在の DAG の中央ノードのノード ID とノード名も表示されます。

操作

説明

親ノードの展開

DAG の中央ノードから異なるレベルの依存ノードを展開します。

子ノードの展開

リアルタイムタスクの表示

現在のインスタンスノードを生成したタスクノード DAG に移動します。タスクノードの詳細、上流および下流ノードの情報を表示し、タスクノードで O&M を実行できます。詳細については、「リアルタイムタスクの表示と管理」をご参照ください。

ノードコードの表示

現在のインスタンスを生成したタスクコードを表示できます。

実行ログの表示

インスタンスノードの実行ログを表示します。ノードにダーティデータがある場合、ダーティデータファイルのダウンロード をクリックして、ダーティデータをコンピューターにダウンロードします。ファイルには、ダーティデータの 生成時間、エラー内容、および エラー原因 が含まれます。デフォルトでは、ファイルは 7 日間保持されます。

タスクパラメーターの表示

現在のインスタンスノードのタスクパラメーター (例：execution.checkpointing.interval) を表示します。

開発ノードの編集

現在のインスタンスを生成したノードの Dev プロジェクトのノード編集ページに移動します。これは Dev-Prod 開発モードにのみ適用されます。

ノードの編集

現在のインスタンスを生成したノードのノード編集ページに移動します。これは基本モードにのみ適用されます。

生成されたノードの表示

現在のインスタンスを生成したノードの Prod プロジェクトのノード構成を表示します。

操作ログの表示

現在のインスタンスの操作ログを表示します。ログには、操作時間、オペレーター、および 操作 内容が含まれます。

実行分析の表示

現在のリアルタイムインスタンスの実行情報、データ曲線、フェイルオーバー、およびその他のパラメーターを表示します。

Ververica Flink または Alibaba Blink のリアルタイムエンジンを使用するリアルタイムインスタンスの場合は、ジョブ詳細の表示をご参照ください。

Flink リアルタイムエンジンを使用するリアルタイムインスタンスについては、「実行分析の表示」をご参照ください。

同期オブジェクトの表示

現在のリアルタイムインスタンス詳細の 同期オブジェクト タブで、同期オブジェクトの詳細 (増分同期 および 完全同期 を含む) を表示します。フィールドの詳細については、「個別操作」セクションの「同期オブジェクトの表示」をご参照ください。

同期オブジェクトの更新

同期オブジェクトの更新 をクリックします。同期オブジェクトの更新 ダイアログボックスで、OK をクリックして、現在のリアルタイムインスタンスを新しい同期範囲に基づいて実行します。フィールドの詳細については、「個別操作」セクションの「同期オブジェクトの更新」をご参照ください。

開始

現在のリアルタイムインスタンスを開始します。詳細については、「リアルタイムインスタンスの開始」をご参照ください。

停止

現在のリアルタイムインスタンスを停止します。この操作は、実行中または 完了 状態のインスタンスに適用されます。完了インスタンスの場合、ステートレス停止のみがサポートされます。2 つの停止モードが利用可能です：ステートレス停止 と 現在の状態を保持して停止。

• ステートレス停止：現在の状態 (Savepoint) を保存しません。次回タスクが開始されるときは、ステートレス開始になります。

• 現在の状態を保持して停止：現在の状態 (Savepoint) を保存します。次回タスクが開始されるときに、保存された状態から開始することを選択できます。

非公開

リアルタイムインスタンスを本番環境から非公開にします。停止済み 状態のインスタンスを非公開にできます。