データ系列機能を使用して、デプロイ内のデータを追跡できます。 このようにして、デプロイのデータストリームを効率的に管理および最適化し、問題を迅速に特定し、問題の影響を評価できます。 このトピックでは、デプロイメント パースペクティブとメタデータ パースペクティブからデータ系列を表示する方法について説明します。
背景情報
データのソースと変更履歴を追跡できない場合、データの品質とセキュリティを確保できず、データ分析とトラブルシューティングの効率が低下します。 この問題に対処するには、データ系列機能を使用できます。 データ系列は、データの生成、処理、送信、および消費中に確立される関係を示します。 関係には、メタデータ間のフロー方向と依存関係、およびメタデータとストリーミングまたはバッチ デプロイ間の生成と消費の関係が含まれます。 Realtime Compute for Apache Flink では、特定のデプロイ レイヤーのテーブル レベルとフィールド レベルでデータ系列を表示および分析できます。 次の表に、データ系列の利点を示します。
利点 | 説明 |
データ検証効率の向上 | データ系列を使用すると、データを追跡し、デプロイに含まれるサービス、データベース、テーブル、テーブル フィールドのプロパティと関連付け、データのソース、データ処理手順、伝送パス、および最終的なコンシューマーなど、データの包括的な理解を得ることができます。 このようにして、データのフロー方向と依存関係についてより深く理解できます。 これは、データの信頼性と正確性を検証して、データをより適切に管理および分析し、作業効率を向上させるのに役立ちます。 |
トラブルシューティング効率の向上 | データ処理中にエラーが発生した場合、データ系列を表示してエラーの根本原因を特定できます。 これは、ビジネスの損失を防ぎ、人件費を削減するために、問題を迅速に特定して解決するのに役立ちます。 |
データ分析効率の向上 | データ資産が変更された場合、またはエラーが発生した場合、データ系列を表示して、影響を受けるオンライン デプロイを迅速に特定し、できるだけ早く問題を解決できます。 これは、誤った決定を回避するのに役立ちます。 |
データ資産コストの削減 | データ系列は、データの転送パスと依存関係を理解するのに役立ち、データ処理を最適化し、長期間呼び出されないサービスをできるだけ早く公開停止できます。 これは、データ処理の効率と品質を向上させ、データ コストを削減するのに役立ちます。 |
データ系列モデル
次の図は、データ系列のモデルを示しています。
前の図には、ノード（エンティティ）とエッジ（リレーションシップ）が含まれています。 エンティティとリレーションシップの組み合わせは、データ系列として表示されます。
項目 | 説明 |
ノード | 各カタログ、データ テーブル、およびフィールドは、データ エンティティと見なすことができます。 エンティティは、データ系列のノードとして抽象化されます。 データ系列には、次のタイプのノードが含まれています:
|
リレーションシップ | エンティティ間のリレーションシップには、エンティティとデータを生成するアップストリーム エンティティとのリレーションシップ、およびエンティティとデータを消費するダウンストリーム エンティティとのリレーションシップが含まれます。 データ系列には、次のリレーションシップが含まれています:
|
制限事項
名前空間内のデプロイとメタデータ間のデータ系列のみを表示できます。 名前空間をまたがるデータ系列は表示できません。
メタデータ パースペクティブからデータ系列を表示する場合は、カタログを使用する必要があります。 デプロイ パースペクティブからデータ系列を表示する場合は、カタログを使用する必要はありません。
SQL デプロイのデータ系列のみを表示および検索できます。
一度開始された既存の SQL デプロイのデータ系列のみを表示できます。 デプロイがキャンセルされた後、最新のデータ系列が保持されます。
データ系列機能は、QueryOperation、SinkModifyOperation、および CreateTableAsTableOperation 操作のみをサポートしています。 この機能は、CREATE DATABASE AS ステートメントの実行、フィルター操作、JOIN 操作など、他のタイプの操作に関するデータ系列情報を追跡または表示できません。
デプロイ パースペクティブからデータ系列を表示する
Realtime Compute for Apache Flink の開発コンソールの [デプロイ] ページで、目的のデプロイを見つけて、デプロイ ノードとデータ ノードに関する情報、デプロイのテーブル間の依存関係、およびデプロイのテーブルとフィールド間の所属関係を表示できます。
デフォルトでは、デプロイが中央ノードとして使用され、3 層のデータ系列が表示されます。 3 つの層は、アップストリーム テーブル、中央デプロイ、およびダウンストリーム テーブルです。 前のデータ系列を追跡する場合は、アップストリーム テーブルの左側にあるプラス記号をクリックします。 後続のデータ系列を追跡する場合は、ダウンストリーム テーブルの右側にあるプラス記号をクリックします。
Realtime Compute for Apache Flink コンソール にログオンします。
管理するワークスペースを見つけ、[アクション] 列の [コンソール] をクリックします。
Realtime Compute for Apache Flink の開発コンソールの左側のナビゲーション ペインで、 を選択します。 [デプロイ] ページで、目的のデプロイを見つけて、デプロイの名前をクリックします。
[系列] タブをクリックします。 [系列] タブで、[テーブル レベル] をクリックしてテーブル レベルのデータ系列を表示するか、[列レベル] をクリックしてフィールド レベルのデータ系列を表示します。
テーブル レベルのデータ系列
ノード タイプ、コネクタ タイプ、カタログ名、データベース名、デスティネーション テーブルの名前、ソース テーブルの名前、およびデプロイ ID、作成時刻、デプロイの作成者、デプロイが最後に変更された時刻、デプロイを最後に変更したユーザーなどのデプロイ情報を表示します。
フィールド レベルのデータ系列
テーブル フィールドの名前とタイプ、テーブルのデータベース名、カタログ名、コネクタ タイプ、およびデプロイ情報を表示します。
メタデータ パースペクティブからデータ系列を表示する
カタログ内のテーブルに多数のデプロイが関連付けられている場合、データ系列グラフが不明瞭になる可能性があります。 この場合、データ系列グラフを拡大または縮小できます。 [クリックされたノードを自動フォーカス] をオンにすることもできます。 このスイッチをオンにして目的のデプロイまたはテーブルをクリックすると、関連するノードが自動的に中央に配置されます。
Realtime Compute for Apache Flink コンソール にログオンします。
管理するワークスペースを見つけ、[アクション] 列の [コンソール] をクリックします。
Realtime Compute for Apache Flink の開発コンソールの左側のナビゲーション ペインで、[カタログ] をクリックします。 [カタログ] ページで、カタログの特定のデータベースの下にあるテーブルの名前をダブルクリックします。
[系列] タブで、[テーブル レベル] をクリックしてテーブル レベルのデータ系列を表示するか、[列レベル] をクリックしてフィールド レベルのデータ系列を表示します。
テーブル レベルのデータ系列
カタログ内の特定のテーブルを参照するデプロイを表示できます。 テーブル スキーマまたはテーブル データが変更された場合、テーブルを参照するデプロイを迅速に処理できます。 たとえば、デプロイのコードを変更したり、デプロイをキャンセルしたりできます。
目的のデプロイ ノードをダブルクリックします。 デプロイの ID、作成情報、および変更情報を表示できます。 デプロイの [デプロイ] ページにリダイレクトするには、次の図の赤枠で囲まれた位置にあるデプロイ名をクリックします。
フィールド レベルのデータ系列
目的のフィールドをクリックして、フィールドを参照するデプロイとテーブルを特定し、青い実線に基づいて関連フィールドを見つけることができます。 フィールドが削除された場合、またはフィールドの名前または属性が変更された場合、フィールドを参照するデプロイとテーブルを迅速に特定し、関連フィールドを見つけて、関連フィールドを処理できます。
ノード名またはフィールド名でデータ系列を表示する
データ系列グラフが複雑な場合は、名前で目的のノードまたはフィールドを検索して、ノードまたはフィールドに関する情報をすばやく表示できます。
Realtime Compute for Apache Flink の開発コンソールの左側のナビゲーション ペインで、 を選択します。 [デプロイ] ページで、目的のデプロイの名前をクリックします。 [デプロイ] ページの [系列] タブで、検索ボックスに目的のノードまたはフィールドの名前を入力して、Enter キーを押します。 [列レベル] タブでのみフィールドを入力できます。
中央ノードは、現在のデプロイから指定されたノードまたはフィールドに変更されます。 ノードまたはフィールドの色が変わります。
ノードまたはフィールドの名前をダブルクリックして、データ系列を表示します。