データリネージを使用すると、テーブルとフィールド間の関係を追跡できます。これにより、データの発生元を追跡し、データ資産を管理し、ジョブの失敗が上流および下流の依存関係に与える影響を分析できます。Hologres は DataWorks と密接に統合されており、Data Map モジュールを通じて Hologres のデータリネージを管理できます。
背景情報
Data Map は DataWorks のモジュールであり、メタデータに基づくエンタープライズデータカタログを提供します。メタデータの詳細の表示、データリネージやデータカテゴリの管理などの機能を提供します。Data Map は、データの発見、理解、活用に役立ちます。詳細については、「概要」をご参照ください。
制限事項
-
データマップ機能は、Hologres V1.1 以降でのみサポートされています。ご利用のインスタンスがそれより前のバージョンの場合は、「アップグレード準備の失敗に関するトラブルシューティング」をご参照いただくか、Hologres DingTalk グループに参加してサポートを依頼してください。詳細については、「オンラインサポートをさらに受けるにはどうすればよいですか？」をご参照ください。
-
データリネージは、DataWorks Standard Edition 以降でのみ表示できます。
-
Data Map で Hologres メタデータクローラーを設定した後、データリネージが表示されるまでに約 1 時間かかります。
Hologres のデータリネージ
Data Map で Hologres テーブル間のデータリネージを表示するには、次の手順を実行します。
-
Hologres のメタデータを収集して取り込みます。
メタデータ収集機能を使用して、Hologres データソースから Data Map にメタデータをインポートし、集中管理します。詳細については、「メタデータ収集」をご参照ください。
メタデータ収集が完了したら、データ概要ページに移動して、メタデータクローラーが設定されている現在のリージョンにある Hologres のデータベースとテーブルの統計情報を表示できます。詳細については、「全体のデータを表示」をご参照ください。Data Map は、データベースの総数やテーブルの総数などのメトリックを含む、Hologres インスタンスの統計的な概要を提供します。
特定のテーブルを検索するには、「メタデータ検索」をご参照ください。
-
リネージの詳細を表示します。
対象のテーブルを見つけたら、その名前をクリックしてテーブル詳細ページに移動します。ここでは、テーブルの基本情報、出力情報、データリネージを表示できます。詳細については、「テーブルの詳細を表示」をご参照ください。
次の例は、内部の Hologres テーブルを示しています。このページでは、テーブルのメタデータと、[リネージ] タブでそのリネージを表示できます。テーブル詳細ページには、[詳細]、[リネージ]、[説明] タブがあります。[詳細] タブの [フィールド情報] サブタブには、o_orderkey(bigint) や o_custkey(integer) など、各フィールドの名前とデータ型が表示されます。左側のパネルには、基本情報に加えて、[技術情報] と [ビジネス情報] セクションも含まれています。
MaxCompute とのデータリネージ
Data Map では、MaxCompute と Hologres 間のデータリネージも表示できます。Hologres 外部テーブルのリンクをクリックすると、対応する MaxCompute テーブルの詳細が表示されます。
このリンクから MaxCompute テーブル詳細ページに移動できるのは、MaxCompute テーブルを含むプロジェクトがターゲットの DataWorks ワークスペースにバインドされている場合のみです。
テーブル詳細ページの [技術情報] セクションにある [外部テーブル] フィールドには、default.weather などの関連付けられた MaxCompute テーブルの名前が表示されます。このリンクをクリックすると、対応する MaxCompute テーブル詳細ページに移動します。
このページでテーブルリネージ情報を表示できます。たとえば、このページでは、DataWorks スケジューリングモジュールで、データが Hologres 外部テーブルから MaxCompute テーブルに書き込まれることが示されています。また、[フィールドリネージ] タブに移動して、フィールドリネージ関係を表示することもできます。たとえば、Hologres 外部テーブル public.weather2 の詳細ページでは、左側に基本情報 (データソースタイプ：Hologres、データベース、オーナーなど) と技術情報 (外部テーブルのパス) が表示されます。右側の [リネージ情報] タブには、この外部テーブルと MaxCompute テーブル default.weather との間の外部テーブルのマッピング関係がグラフィカルに表示されます。
Flink とのデータリネージ
Realtime Compute for Apache Flink コンソールで、Hologres と Flink 間のデータリネージを表示できます。詳細については、「データリネージの表示」をご参照ください。