Dataphin:リアルタイム インスタンスの管理

エリア

説明

① フィルターと検索エリア

オブジェクト名または ID を入力して、リアルタイムインスタンスを検索できます。

• [My stopped instances]：自分が所有する、ステータスが「停止済み」のインスタンス。

• [Instances I operated today]：本日操作したインスタンス。

• プロジェクト：インスタンスをプロジェクトでフィルタリングします。[O&M - Access Directory] 権限を持つ複数のプロジェクトを選択できます。

• [フィルターの展開]：[Filter] をクリックしてすべてのフィルターオプションを表示します。

  • [サブタイプ]：Flink SQL、Flink Template SQL、Flink DataStream、リアルタイム統合などが含まれます。

  • [ステータス]：成功、起動中、実行中、停止中、停止済み、失敗、起動失敗など、1 つ以上のステータスでフィルタリングします。

  • [最終操作者]：インスタンスを最後に操作したユーザーでフィルタリングします。

  • [所有者]：インスタンスの運用所有者でフィルタリングします。

  • [エンジンタイプ]：Ververica Flink、Blink、Flink、FusionInsight Flink などのエンジンタイプでフィルタリングします。

  • [クラスター]：Ververica Flink リアルタイムコンピューティングエンジンのクラスター ID。

  • [エンジンバージョン]：インスタンスが使用するエンジンバージョン。

  • [操作日]：インスタンスが操作された日付。

• [リセット]：フィルターを展開した後、[リセット] をクリックして、選択したすべてのフィルター条件をクリアします。

② リスト操作

• [インスタンス統計の表示]：インスタンス統計ページに移動します。詳細については、「インスタンス統計の表示」をご参照ください。

• [インスタンスリストのエクスポート]：現在表示されているインスタンスリストを .csv ファイルにエクスポートします。

• リストヘッダーのカスタマイズ： アイコンをクリックして、表示する列を選択し、並べ替えます。

  説明

  • 最初の列と [操作] 列は、非表示にしたり並べ替えたりできません。

  • ブラウザのキャッシュをクリアするか、別のブラウザを使用すると、ヘッダー設定はデフォルトに戻ります。

• リストの更新： アイコンをクリックして、現在のリストを更新します。

③ リアルタイムインスタンスリスト

リアルタイムインスタンスリストには、インスタンスオブジェクト、ステータス、最終操作者、最終更新日時、所有者、プロジェクトなどの情報が表示されます。各列の幅を調整でき、設定はブラウザにローカルに保存されます。ブラウザの履歴と Cookie をクリアすると、これらの設定はリセットされます。

• [インスタンスオブジェクト]：リアルタイムタスクをオペレーションに送信すると、システムは初期ステータスが 停止済み のリアルタイムインスタンスを生成します。

• [ステータス]：インスタンスのステータス (起動中、実行中、停止中、停止済み、失敗、起動失敗など) です。詳細については、「リアルタイムインスタンスのステータス」をご参照ください。

• [コンシューマーラグ (秒)]：タスクのコンシューマーラグのことで、ソースからのデータ消費の遅延を示します。

• [最終操作者]：インスタンスを最後に操作したユーザー。

• [最終更新日時]：最後の操作の時刻。

• [所有者]：インスタンスの運用所有者。

• [プロジェクト]：インスタンスが属するプロジェクトで、プロジェクトの英語名 (プロジェクトの中国語名) の形式で表示されます。

• [エンジンタイプ]：リアルタイムインスタンスが使用するエンジンタイプ。

• [クラスター]：リアルタイムインスタンスが実行されているクラスター。これは Ververica Flink リアルタイムエンジンにのみ適用され、他のエンジンではこのフィールドは空になります。

• [リソースキュー]：リアルタイムインスタンスが実行されているリソースキュー。これは Blink と Flink リアルタイムエンジンにのみ適用され、他のエンジンではこのフィールドは空になります。

• [エンジンバージョン]：リアルタイムインスタンスが実行されているエンジンバージョン。

[操作] 列には、各リアルタイムインスタンスで利用可能な操作が一覧表示されます。個別の操作の詳細については、「個別操作」をご参照ください。

④ 一括操作

このエリアでは、複数のリアルタイムインスタンスに対して開始、停止、廃止などの一括操作を実行し、効率を向上させることができます。

サポートされている一括操作の詳細については、「一括操作」をご参照ください。

アイコン

ステータス

説明

成功

インスタンスは、有界ストリーム内のすべてのデータの処理を完了しました。

起動中

インスタンスは起動準備中ですが、まだ実行を開始していません。

実行中

インスタンスは現在実行中です。

停止中

システムがインスタンスを停止しています。

停止済み

インスタンスは停止しました。

Failed

The instance failed during execution.

Startup Failed

The instance failed to start.

操作

説明

[Start]

対象のリアルタイムインスタンスの [Actions] 列で、 アイコンをクリックしてインスタンスを開始します。詳細については、「リアルタイムインスタンスの開始」をご参照ください。

[Stop]

ステータスが [Running] のインスタンスの [Actions] 列で、 アイコンをクリックします。[セーブポイントなしで停止]するか、[セーブポイントを使用して停止]するかを選択できます。

• セーブポイントなしで停止：セーブポイントを作成せずにジョブを停止します。次回ジョブを開始するとき、保存したステートからは再開されません。

  重要

  セーブポイントなしで停止すると、以前に保存されたセーブポイントはクリアされますが、チェックポイントはクリアされません。

• セーブポイントを使用して停止：ジョブを停止する前にセーブポイントを作成します。次回ジョブを開始するときに、このセーブポイントから再開することを選択できます。

[デコミッション]

対象のリアルタイムインスタンスの [Actions] 列で、 アイコンをクリックして本番環境からデコミッションします。この操作は、ステータスが [Stopped]、[Failed]、または [Startup Failed] のインスタンスで利用できます。

[View runtime analysis]

[Actions] 列で アイコンをクリックして、インスタンスのランタイム情報、データカーブ、フェイルオーバーパラメーターなどを表示します。

コンピューティングエンジンは Apache Flink です。詳細については、「ランタイム分析の表示」をご参照ください。

リアルタイムインスタンスが Ververica Flink または Blink エンジンを使用している場合は、「ジョブの詳細を表示する」をご参照ください。

[View real-time task]

[Actions] 列で アイコンをクリックし、[View Real-time Task] を選択して現在のインスタンスのタスクページに移動し、その詳細を表示します。

[View instance code]

[Actions] 列で アイコンをクリックし、[View Instance Code] を選択して現在のインスタンスのタスクコードを表示します。

[View instance parameters]

対象のリアルタイムインスタンスの [Actions] 列で アイコンをクリックし、[View Instance Parameters] を選択してインスタンスのランタイムパラメーターを表示します。たとえば、 metrics.reporter.promappmgr.port のようなパラメーターです。

[View synchronization object]

[Actions] 列で アイコンをクリックし、[View Synchronization Object] を選択して、インスタンス詳細ページの [Synchronization Object] タブを開きます。このタブには、 増分同期 と 完全同期 の両方の詳細が表示されます。

• 増分同期：このセクションには、ステータス、開始時刻、ラグ、最新の読み取り位置が表示されます。ランタイムログの表示、ノードコードの表示、開始、停止ができます。

  • ステータス：元のリアルタイム統合タスクのステータスで、[Succeeded]、[Starting]、[Startup Failed]、[Running]、[Failed]、[Stopping]、または [Stopped] のいずれかになります。失敗した場合、システムはエラーの原因を表示します。リアルタイムタスクが一時停止されている場合、そのステータスは [Running] のままですが、ステータスは [Running (Paused)] と表示されます。

  • 開始時刻：増分同期の開始時刻。

  • ラグ：増分タスクの処理ラグ。

  • 最新の読み取り位置：最後に読み取られたデータのタイムスタンプ。

• 完全同期：このセクションには、全体の同期ステータス、同期の進捗、ソースオブジェクト、宛先オブジェクト、ステータス、同期時間、期間、速度、データ量が表示されます。ソースまたはターゲットのオブジェクト名で検索し、同期ステータスでフィルターできます。

  • 全体の同期ステータス：すべてのソースオブジェクトの完全同期の全体的なステータス。可能なステータスは、[Not Started]、[Synchronizing]、[Synchronization Succeeded]、または [Synchronization Failed] です。

    • [Not Started]：すべてのソースオブジェクトが同期を待機しています。この状態では進捗は表示されません。

    • [Synchronizing]：少なくとも 1 つのソースオブジェクトが現在同期中です。

    • [Synchronization Succeeded]：すべてのソースオブジェクトのステータスが [Synchronization Succeeded]、[Ignored]、または [Stopped] です。

    • [Synchronization Failed]：少なくとも 1 つのソースオブジェクトの同期に失敗しました。

  • 同期の進捗：完全同期の全体的な進捗で、完了数/総オブジェクト数 として表示されます。

  • ソースオブジェクト、宛先オブジェクト： schema.Source/Destination table name または Source/Destination data source name として表示されます。

  • ステータス：[Not Started]、[Stopping]、[Stopped]、[Ignored]、[Synchronizing]、[Synchronization Failed]、または [Synchronization Succeeded] のいずれかです。

    • [Not Started]：まだ実行されていません。開始前に増分タスクが一時停止するのを待っています。

    • [Stopping]：ユーザーが最後のアドホック同期タスクを手動で停止しましたが、まだ停止が完了していません。

    • [Stopped]：最後のアドホック同期タスクが手動で停止されました。

    • [Ignored]：タスクが開始されていないか失敗したときに [Ignore] アクションをクリックすると、ステータスは [Ignored] に変わります。

    • [Synchronizing]：最後のアドホックタスクが現在実行中です。

    • [Synchronization Failed]：最後のアドホックタスクが失敗しました。

    • [Synchronization Succeeded]：最後のアドホックタスクが成功しました。

  • 同期時間：アドホックタスクの開始時刻と終了時刻で、開始時刻 ~ 終了時刻、またはタスクが開始されていない場合は - と表示されます。

  • 期間：アドホックタスクの総実行時間。

  • 速度：同期速度。計算式は 最後に完了したアドホックタスクによって同期された総データ量 / 消費時間 です。

  • データ量：最後のアドホックタスクによって同期された総データ量。

  • 操作：増分同期のステータスが [Running] の場合、 [View Logs]、 [Run]、 [Stop]、 [Ignore] を実行できます。

    • [View Logs]：最後のアドホックタスクのログビューアーを開きます。

    • [Run]、[Batch Run]：ステータスが [Ignored]、[Stopped]、[Synchronization Failed]、または [Synchronization Succeeded] のオブジェクトで利用できます。完全同期を実行すると、宛先テーブルのデータがクリアされます。タスクのスケジューリングリソースグループを調整することもできます。

    • [Stop]、[Batch Stop]：現在同期中のオブジェクトで利用できます。オブジェクトを停止しても、メインタスクはブロックされません。

    • [Ignore]、[Batch Ignore]：ステータスが [Not Started] または [Synchronization Failed] のオブジェクトで利用できます。オブジェクトを無視しても、メインタスクはブロックされません。

[同期オブジェクトの更新]

[Actions] 列で アイコンをクリックし、[Refresh Synchronization Object] を選択します。[Refresh Synchronization Object] ダイアログボックスで [OK] をクリックして、新しい同期範囲でインスタンスを実行します。

• 同期オブジェクトの範囲のみが変更された場合：

  • 新しい同期オブジェクトが追加された場合：システムは増分同期を一時停止し (タスクのステータスは [Running] のまま)、新しいオブジェクトに対してアドホック完全同期タスクを実行します。システムは、すでに成功した完全同期タスクを再実行しません。すべての新しいアドホック完全タスクが完了した後、増分同期が再開されます。

  • 同期オブジェクトが削除された場合：システムはオブジェクトを削除し、増分タスクは縮小された範囲で続行されます。

• その他の変更が行われた場合 (タスク構成や宛先テーブルの調整など)：システムは増分同期を停止します。同期範囲も変更された場合、システムはまず新しいオブジェクトを同期してから増分タスクを再起動します。必要に応じて、同期オブジェクトページで既存の完全同期タスクを手動で管理できます。

操作

説明

[Start]

[リアルタイム開発インスタンスの開始]：

1. 1 つ以上のリアルタイム開発インスタンスを選択するか、 [Select All on This Page] をクリックし、次に [Start] をクリックして [Start Real-time Development Instance] を選択します。

2. [Batch Start Real-time Development Instances] ダイアログボックスで、起動オプションを設定します。

   • [Start n instances]：開始するインスタンスの数と名前をカンマで区切って表示します。

   • [開始モード]：ステートレスで開始するか、有効なステートから開始できます。

     • [ステートレスで開始]：初期ステートなしでタスクを開始します。

     • [有効なステートから開始]： 既存の有効なステートからタスクを開始します。

       説明

       選択したすべてのインスタンスがステートレスである場合にのみ、ステートレス起動オプションを使用できます。

   • [データの読み取り元]：開始時刻を設定すると、 startTime をサポートするすべてのソーステーブル (Log Service、Kafka、MySQL、MongoDB、OceanBase など) がその時刻からデータの読み取りを開始します。

     説明

     SQL ジョブのコードパラメーター設定は、この指定された開始時刻よりも優先されます。

   • [ビジネス日付]：ビジネス日付を設定することで、時間変数に値を割り当てます。システムは、指定された日付に基づいてこれらの変数を計算します。デフォルトは現在の日付です。

     説明

     SQL ジョブのコードパラメーター設定は、この指定されたビジネス日付よりも優先されます。

3. [OK] をクリックしてインスタンスを開始します。

[Stop]

[リアルタイム開発インスタンスの停止]：

1. 1 つ以上のリアルタイム開発インスタンスを選択するか、 [Select All on This Page] を選択し、次に [Stop] をクリックして [Stop Real-time Development Instance] を選択します。

2. [Batch Stop Real-time Development Instances] ダイアログボックスで、オプションを設定します。

   • [Stop n instances]：停止するインスタンスの数と名前をカンマで区切って表示します。

   • [停止モード]：

     • [セーブポイントなしで停止]：現在のステートを保持せずにタスクを停止します。次回、タスクはステートなしで開始されます。

     • [セーブポイントを使用して停止]：現在のステートを保持します。次回タスクを開始するときに、この保存したステートから再開することを選択できます。

[デコミッション]

選択したリアルタイムインスタンスを本番環境からデコミッションします。

エリア

説明

① ノード情報ペイン

選択したノードの概要情報が表示されます。[View node details] をクリックすると、詳細情報が表示されます。

Ververica Flink リアルタイムエンジン：[Node Details]、[Synchronization Object] (増分 + フル リアルタイム統合タスクのインスタンスのみ)、[Runtime Log]、[Operation Log]、[Node Code]、および [Task Parameters] (コンピューティングタスクインスタンスのみ) が含まれます。

• [Node details]：基本情報とランタイム情報が含まれます。基本情報には、ノード名、ID、インスタンス ID、プロジェクトが含まれます。ランタイム情報には、ステータス、ランタイム期間などが含まれます。

• 同期オブジェクト：ソースオブジェクトとターゲットオブジェクトを含み、フル同期と増分同期のステータスを表示します。増分同期タスクが実行中の場合、手動でフル同期を [Run]、[Stop]、または [Ignore] できます。

  実行時には、スケジューリングリソースグループ、メモリ、スロットリング、同時実行数、およびパーティションキー (単一の同期オブジェクトを実行する場合のみ利用可能) も設定する必要があります。

  • スケジューリングリソースグループ：フル同期タスクに使用されるスケジューリングリソースです。デフォルトでは、プロジェクトのデフォルトリソースグループが使用されます。

  • メモリ：チャネル設定です。正の整数を入力します。最大値は 16384 MB (16 GB) です。デフォルト値は 4096 MB です。未入力の場合、デフォルトで 1024 MB になります。

  • スロットリング：データ量によって同期速度を制限します。正の整数を入力します。デフォルトは 10 M/s です。この項目が未入力の場合、制限はありません。

  • 同時実行数：チャネル設定です。フル同期タスクの最大希望同時実行数を設定します。正の整数を入力します。デフォルトは 10 です。未入力の場合、同時実行数は 3 になります。

  • パーティションキー：同時実行数と併用してデータをパーティショニングし、並列読み取りを行います。未入力の場合、システムが自動的にフィールドを識別します。ソーステーブルの列をパーティションキーとして指定できます。このフィールドは、正確なパーティショニングを確保するために、integer 型または datetime 型の列である必要があります。最高のパフォーマンスを得るには、プライマリキーまたはインデックス付きの列をパーティションキーとして使用することを推奨します。

• ランタイムログ：現在のノードのランタイムログを表示します。障害によってダーティデータが生成された場合、ダーティデータファイルをダウンロードできます。

• 操作ログ：現在のノードの操作ログを表示します。これには、時刻、オペレーター、および特定のアクションが含まれます。

• ランタイム分析：ダッシュボードを使用して、選択した時間範囲にわたるさまざまなランタイムメトリクス (失敗数やバックプレッシャーデータなど) を表示します。

• ログ：起動ログ、ランタイムログ、例外情報を個別に表示します。

• ノードコード：現在のノードの特定のコードを表示します。

• タスクパラメーター：現在のノードのタスクパラメーターを表示します。

② ノード検索およびフィルターエリア

メインノードから展開するアップストリームおよびダウンストリームのレベル数をすばやく設定できます。DAG が大きい場合は、ノード名を検索して現在の DAG ビュー内で迅速に特定できます。

③ スケジューリング依存関係グラフ

インスタンスのスケジューリング依存関係グラフを表示します。展開してより多くのアップストリームおよびダウンストリームノードを表示し、それらに対して操作を実行できます。ノードにカーソルを合わせると、その名前、タイプ、スケジューリングサイクル、所有者、説明が表示されます。

④ キャンバス調整エリア

DAG の表示スケールをすばやく調整できます。オプションには、特定のズームレベルの設定 (デフォルト 100%)、拡大 (最大 200%)、縮小 (最小 20%)、キャンバスに合わせる、全画面モードが含まれます。このエリアには、DAG のメインノードのノード ID と名前も表示されます。

操作

説明

[Expand parent nodes]

DAG を展開して、より多くのレベルの親ノードまたは子ノードを表示します。

[Expand child nodes]

[View real-time task]

現在のインスタンスのタスクノード DAG に移動して、タスクの詳細、アップストリームおよびダウンストリームノードを表示し、タスク操作を実行できます。詳細については、「リアルタイムタスクの表示と管理」をご参照ください。

[View node code]

現在のインスタンスを生成したタスクコードを表示します。

[View runtime log]

インスタンスノードのランタイムログを表示します。タスクがダーティデータを生成した場合、[Download Dirty Data File] をクリックしてダウンロードし、ローカルで検査できます。ファイルには、[Time]、[Error content]、および [Error cause] が含まれます。デフォルトでは、システムはこれらのファイルを 7 日間保持します。

[View task parameters]

現在のインスタンスノードのタスクパラメーター (例：execution.checkpointing.interval) を表示します。

[Edit development node]

開発プロジェクト内の現在のインスタンスのタスク編集ページに移動します。これは、Dev-Prod 開発モードの場合にのみ適用されます。

[Edit node]

現在のインスタンスノードを生成したタスク編集ページに移動します。これは、Basic モードの場合にのみ適用されます。

[View production node]

現在のインスタンスノードを生成した Prod プロジェクト内のタスクの構成を表示します。

[View operation log]

現在のインスタンスの操作ログを表示します。これには、[Operation Time]、[Operator]、および [Action] が含まれます。

[View runtime analysis]

インスタンスのランタイム情報、データ曲線、フェールオーバーパラメーターなどを表示します。

リアルタイムインスタンスが Ververica Flink または Alibaba Blink エンジンを使用している場合は、「ジョブの詳細の表示」をご参照ください。

リアルタイムインスタンスが Flink リアルタイムエンジンを使用している場合は、「ランタイム分析の表示」をご参照ください。

[View synchronization object]

現在のリアルタイムインスタンスの詳細の [Synchronization Object] タブで、増分同期とフル同期の詳細を表示できます。フィールドの詳細は、個別操作の「同期オブジェクトの表示」セクションで説明されているものと同じです。

[Refresh synchronization object]

[Refresh Synchronization Object] をクリックし、[Refresh Synchronization Object] ダイアログボックスで [OK] をクリックします。これにより、現在のリアルタイムインスタンスが新しい同期範囲に基づいて実行されます。各フィールドの詳細については、「リアルタイムインスタンスの管理 - 個別操作」の「同期オブジェクトの更新」をご参照ください。

[Start]

現在のリアルタイムインスタンスを開始します。詳細については、「リアルタイムインスタンスの開始」をご参照ください。

[Stop]

[Running] または [Succeeded] のリアルタイムインスタンスを停止します。[Succeeded] ステータスのインスタンスでは、セーブポイントを保存せずに停止のみサポートされています。[セーブポイントを保存せずに停止]するか、[セーブポイントを保存して停止]するかを選択できます。

• セーブポイントを保存せずに停止：セーブポイントを作成せずにジョブを停止します。次回の実行時に、ジョブは保存されたステートなしで開始されます。

• セーブポイントを保存して停止：ジョブを停止する前にセーブポイントを作成します。次回ジョブを開始するときに、この保存されたステートから再開することを選択できます。

[Decommission]

リアルタイムインスタンスを本番環境から廃止します。この操作は、[Stopped] 状態のインスタンスでのみ利用できます。