Dataphin:データソーステーブルの詳細

エリア

説明

①基本情報

メタデータの名前、環境、タグ、説明などの情報を表示します。次の操作も実行できます。

Elasticsearch データソースのデータソーステーブルの場合、メタデータの検索、資産詳細の表示、本番または開発オブジェクトの表示、タグの変更、お気に入りへの項目の追加、品質問題の報告、データソース権限のリクエスト、およびフィールドのエクスポートができます。エクスポート機能はテーブルオブジェクトでのみサポートされています。

• ソースシステムからメタデータが削除されると、その名前はグレー表示されます。名前の横にある アイコンをクリックして [メタデータチェックリスト] ページに移動し、使用されなくなったメタデータを削除できます。

• メタデータの検索: 右上隅の検索ボックスにテーブル名などのキーワードを入力して、データソーステーブルを検索します。他の資産の詳細を表示するように切り替えることもできます。

• 資産詳細の表示: 現在のオブジェクトが [資産ディレクトリ] にリストされている場合、このボタンをクリックしてディレクトリ詳細ページに移動し、リスト情報を表示できます。

• 本番/開発オブジェクトの表示: 右上隅にある [本番/開発オブジェクトの表示] をクリックして、対応する本番または開発環境のオブジェクトの詳細ページに切り替えます。

• タグ: 現在の資産に構成されているタグを表示します。タグを変更するには、[編集] をクリックします。

  • 各タグ値の長さは最大 128 文字です。

  • 各資産オブジェクトに最大 20 個のタグを構成できます。

• お気に入り: クリックしてお気に入りに追加、またはお気に入りから削除します。 お気に入りに追加すると、[アセットチェックリスト] > [マイフットプリント] で直近でお気に入りに追加された 30 個のアセットを表示でき、その後のクエリが容易になります。 また、[パーソナルデータセンター] ですべてのお気に入りアセットを表示することもできます。 詳細については、「お気に入りアセットの表示と管理」をご参照ください。

• 分析へ: クリックして Notebook ページに移動し、対応する Notebook ノードを自動的に作成します。この資産でビジュアル分析を実行できます。詳細については、「Notebook の作成」をご参照ください。

  説明

  一部のデータソーステーブルでは、消費権限をリクエストした後、Notebook タスクを作成できます。サポートされているデータソースについては、「さまざまな種類の資産でサポートされている操作」をご参照ください。

• 権限のリクエスト: クリックして、現在のデータテーブルの権限リクエストページに移動します。詳細については、「テーブル権限のリクエスト、更新、返却」をご参照ください。

• 品質問題のフィードバック: メタデータが削除されている場合、この操作はサポートされていません。この機能を使用すると、アセットの使用中に発生した品質問題 (不安定なデータ出力や不正確なデータ内容など) を現在の品質オーナーに報告できます。これにより、担当オーナーはタイムリーに問題を修正し、アセットの可用性と健全性を向上させることができます。構成の詳細については、「問題チェックリストの追加と管理」をご参照ください。

  この機能を使用するには、Data Quality モジュールを有効にする必要があります。[本番環境] のデータソーステーブルに対してのみ品質問題を報告できます。その後、Data Quality モジュールの問題チェックリストで、報告された問題の処理フローと結果を表示できます。

• SELECT 文の生成: クリックして、現在のテーブルのクエリ文を生成します。エスケープ文字を追加するかどうかを選択できます。クエリ文をコピーして、アドホッククエリまたは分析ページで実行できます。

• DDL 文の表示: 右上隅にある [その他] をクリックし、[DDL 文の表示] を選択して、データソース内の現在のメタデータのデータ定義言語 (DDL) 文を表示します。[データソースタイプ] を選択し、[DDL 文の生成] をクリックすることもできます。システムは、指定されたタイプのデータソースで現在のメタデータと同じ構造を持つテーブルを作成するための DDL 文を生成します。[エスケープ文字を自動的に追加] を選択すると、生成された DDL 文には、選択したソースタイプに適したエスケープ文字が自動的に含まれます。これにより、システムキーワードの誤ったエスケープなどの問題が軽減されます。

• データソース権限のリクエスト: 右上隅にある [その他] をクリックし、[データソース権限のリクエスト] を選択して、現在のデータソースの権限リクエストページに移動します。詳細については、「データソース権限のリクエスト、更新、返却」をご参照ください。

• フィールドのエクスポート: 右上隅にある [その他] をクリックし、[フィールドのエクスポート] を選択して、メタデータのフィールド情報をエクスポートします。情報は CSV 形式でエクスポートされ、開発者やビジネスアナリストが迅速に分析して使用できます。

②詳細情報

テーブルとビューの属性とフィールド情報を表示します。

• 詳細: メタデータのビジネス属性と技術属性を表示します。

  • [ビジネス属性]: ソースシステム情報が含まれます。

  • 技術属性: ソースデータソース、テーブルの行数、最高感度レベル (Data Security 機能が必要)、テーブルがレイクハウス テーブルであるかどうか、レイクハウス テーブルのフォーマット、テーブルストレージモード、ストレージタイプ (内部または外部テーブル)、ストレージサイズ、および場所情報を含みます。

    • テーブルストレージモード: データテーブルがレイクハウス テーブルで、そのフォーマットが Hudi の場合、この情報はテーブルのデータソースから収集できます。この情報は StarRocks、SelectDB、または Doris データソースでは収集できません。

    • 場所: 現在のテーブルのストレージの場所。例: hdfs://node01.exp5:8020/user/hive/warehouse。

      説明

      • ビューの技術属性には、ソースデータソース情報のみが含まれます。

      • ストレージタイプ情報は、MySQL または Microsoft SQL Server データソースでは利用できません。

      • Oracle テーブルの場合、ストレージサイズは行数と 1 行あたりの平均使用領域 (バイト単位) に基づく推定値です。インデックス、未使用領域、または断片化の統計は含まれません。したがって、推定値は実際の占有領域よりも低くなります。

      • データソーステーブルがパーティションテーブルの場合、行数は参考用です。システムは現在、パーティションテーブルのメインテーブルの行数を収集することをサポートしていません。

      • Hive および Greenplum データソースの場合、ストレージタイプが外部テーブルであれば場所情報を表示できます。

      • Amazon Redshift データソースの場合、ソースデータソースとストレージタイプ情報のみを表示できます。

      • Elasticsearch データソースの場合、オブジェクトが [テーブル] (インデックス) であれば、ドキュメント数とストレージサイズのみを表示できます。

• フィールド情報: テーブルとビューのフィールド情報を表示します。これには、フィールド名、データの型、説明、フィールドが null にできるかどうか、デフォルト値、およびデータ分類または感度レベル (Data Security モジュールが必要) が含まれます。Elasticsearch データソースの場合、オブジェクトが [テーブル] (インデックス) であれば、フィールド名とデータの型を表示できます。

  検索とフィルター: 名前または説明でフィールドを検索できます。データ分類または感度レベル (Data Security が必要) で特定のフィールドをフィルターすることもできます。

• パーティション情報: データテーブルのパーティション情報を表示します。マルチレベルパーティションは、すべてのパーティションレベルの組み合わせとして表示され、スラッシュ (/) で区切られます。例: ds=20221001/pt1=a/pt2=b。

  説明

  • パーティションのレコード数とストレージサイズは参考用です。

  • Elasticsearch データソースの場合、パーティション情報は表示できません。

③系統 & 影響

• リネージ: テーブルとフィールド間のデータリネージを表示します。

  • テーブルレベルのリネージソースには、統合同期タスク、カスタムリネージ計算タスク、システムが自動的に解析できる SQL 計算タスク、および論理テーブルタスクが含まれます。詳細については、「テーブルレベルのリネージ」をご参照ください。

  • フィールドリネージソースには、カスタムリネージ計算タスク、およびシステムが自動的に解析できる SQL 計算タスクと論理テーブルタスクが含まれます。詳細については、「フィールドリネージ」をご参照ください。

    説明

    システムは、タスクが送信されると開発者環境でテーブルとフィールドのリネージを解析します。タスクが公開されると、本番環境でリネージを解析します。1 回のタスク送信または公開で解析できるリネージ関係は最大 100,000 です。この制限を超えると、リネージは記録されず、資産ディレクトリに表示できません。

• 影響: 影響は、データテーブルの影響と同期の影響に分かれています。

  • データテーブルの影響: 現在のテーブルを参照する直接の子テーブルと、直接の子テーブルを参照する間接の子孫テーブルを表示します。データをエクスポートしたり、直接の子テーブルのみを表示したりできます。

    • データのエクスポート: ビジネスアナリストが閲覧できるように、データを Excel ファイルにエクスポートします。

    • 直接の子孫テーブルのみを表示: このオプションを選択すると、現在のテーブルによって直接影響を受ける下流のテーブルのみが表示されます。このオプションの選択を解除すると、影響を受けるすべての下流のテーブルが最大 15 レベルまで表示されます。現在のテーブルの直接の下流テーブルが第 1 レベルと見なされます。

  • 同期の影響: 現在のテーブルとその子孫テーブルがソーステーブルとして使用される同期タスクを表示します。データをエクスポートしたり、現在のテーブルの影響のみを表示したりできます。

    • データのエクスポート: ビジネスアナリストが閲覧できるように、データを Excel ファイルにエクスポートします。

    • 現在のテーブルの影響のみを表示: このオプションを選択すると、現在のテーブルが入力テーブルとして使用される同期タスクのみが表示されます。このオプションの選択を解除すると、現在のテーブルとその影響を受けるすべての下流テーブルが入力テーブルとして使用される同期タスクが最大 15 レベルまで表示されます。現在のテーブルの直接の下流テーブルが第 1 レベルと見なされます。

④品質概要

Data Quality 機能を有効にして、現在のデータテーブルのルール検証の概要と品質監視ルールリストを表示する必要があります。[レポート詳細の表示] ボタンまたは [ルール詳細の表示] ボタンをクリックすると、Data Quality モジュールの対応するページにすばやくジャンプして詳細を確認できます。品質の概要は、データ品質監視をサポートするデータテーブルに対してのみ表示できます。サポートされているデータソースのリストについては、「Dataphin でサポートされているデータソース」をご参照ください。

品質ルールを作成し、品質の概要を表示できるのは、本番環境のデータソーステーブルに対してのみです。

⑤データ探索

Data Quality 機能を有効にしている場合、この機能をサポートするデータソーステーブルのデータ探索を開始および表示して、データの概要をすばやく理解し、データの可用性と潜在的な脅威を事前に評価できます。自動探索を有効にするには、[管理] > [メタデータセンター] > [探索と分析] で対応する構成を有効にします。探索タスクの構成方法の詳細については、「データ探索タスクの作成」をご参照ください。データ探索をサポートするデータソースについては、「さまざまなデータソースでサポートされている探索パーティションと範囲」をご参照ください。

⑥データプレビュー

現在のテーブルからデータをクエリする権限がある場合は、データプレビュー機能を使用して、SELECT 権限を持つフィールドに対応する結果のみをクエリできます。最初の 50 件のデータエントリをプレビューできます。クエリ権限のリクエスト方法の詳細については、「テーブル権限のリクエスト、更新、返却」をご参照ください。

データをフィルターした後、フィールドで検索またはフィルターしたり、単一行の詳細を表示したり、列幅を自動調整したり、行と列を入れ替えたりできます。フィールドの横にあるソートアイコンをクリックしてデータをソートすることもできます。オプションは [ソートなし]、[昇順]、および [降順] です。フィールド値をダブルクリックしてコピーします。

⑦ 資産情報

データソーステーブルの基本情報と使用状況情報を表示します。

• [基本情報]: データソーステーブルの環境、テーブルタイプ、最終収集日時、および収集タスクが含まれます。

  • 最終収集時間: 現在のデータソーステーブルの収集タスクの最後の正常な実行が完了した時刻。形式は YYYY-MM-DD hh:mm:ss です。

  • 収集タスク: 現在のデータソーステーブルの収集タスク情報。

• 使用状況情報: データソーステーブルのお気に入りの数とページビューを含みます。

  • お気に入りの数: 現在のデータソーステーブルをお気に入りに追加したユーザーの数。この値はリアルタイムで更新されます。

  • ページビュー: 現在のデータソーステーブルのページビュー (PV) 数。ページが更新されるたびにカウントが 1 ずつ増加します。この値はリアルタイムで更新されます。

序数

説明

① クイック操作

• 検索: 現在のページで展開されたノードをテーブル名で検索します。検索ボックスの横にある左または右矢印をクリックして、一致したノード間を切り替えます。システムはデフォルトで最初に一致したノードを特定します。

• 直接リネージのみを表示: [フィルター] をクリックし、[直接リネージのみを表示] を選択して、現在のテーブルと直接のリネージ関係を持つ上流および下流のテーブルを表示します。

  説明

  • 直接リネージとは、SELECT や INSERT などの文を使用して読み書きされる上流および下流の資産を指します。

  • 関連リネージとは、JOIN、GROUP BY、WHERE 条件などのメソッドを使用して参照される関連資産を指します。

  • テーブルレベルのリネージは、直接リネージを持つフィールドが含まれている場合、対応する識別子を表示します。

• データソーステーブルを非表示: [フィルター] をクリックし、[データソーステーブルを非表示] を選択して、データソースのテーブルオブジェクトとその下流のリネージを非表示にします。

• 削除されたテーブルを非表示: [フィルター] をクリックし、[削除されたテーブルを非表示] を選択します。リネージはタスクが送信および公開されるときに解析されます。場合によっては、データテーブルが Dataphin スケジューリングタスクによって削除されない場合 (たとえば、アドホッククエリによって、または DPI エンジンで直接削除された場合)、リネージは更新されず、リネージグラフに表示されたままになります。このオプションを選択すると、削除されたテーブルオブジェクトは表示されません。

② 凡例

テーブルレベルのリネージは、次のデータテーブルをサポートしています: 物理テーブル、論理ディメンションテーブル、論理ファクトテーブル、論理サマリーテーブル、論理タグテーブル、ビュー、マテリアライズドビュー、論理ビュー、メタテーブル、ミラーテーブル、および データソーステーブル。

③ リネージグラフの表示

完全なリネージグラフを表示します。上流または下流のノードの複数のレベルを手動で展開し、テーブル名であいまい検索を実行できます。循環依存の関係が存在する場合、リネージをさらに展開することはできません。開始ノードから下流のリネージを表示する必要があります。

• 中央ノード: 現在の資産の名前を表示します。ノードは左上隅に [現在のテーブル] とマークされています。

• テーブル内のフィールド: ノードにカーソルを合わせ、右側のドロップダウン矢印をクリックして、フィールド名であいまい検索を実行します。フィールド名をクリックして資産詳細ページに移動し、リネージ関係を表示します。

④ オブジェクトの詳細

テーブルにカーソルを合わせると、その詳細が表示されます。

データソーステーブルの場合、詳細には [名前]、[オブジェクトタイプ]、[データソースタイプ]、[データソース]、および [リネージソース] が含まれます。また、[リネージの表示]、[DDL の表示]、[権限のリクエスト] などの操作も実行できます。

• ソースシステムからメタデータが削除された場合、名前の横にある アイコンをクリックして [メタデータチェックリスト] ページに移動し、使用されなくなったメタデータを削除できます。

• リネージの表示: クリックしてテーブルのテーブルレベルのリネージを表示します。

• DDL 文の表示: このボタンをクリックして、物理テーブル、物理ビュー、またはミラーテーブルの DDL 文を表示できます。

• 権限のリクエスト: メタデータが削除されている場合、この操作はサポートされません。ステータスが Normal のメタデータの場合、このボタンをクリックしてテーブルの権限リクエストページに移動できます。

序数

説明

① クイック操作

• 検索: 現在のページで展開されたノードをフィールド名で検索します。検索ボックスの横にある左または右矢印をクリックして、一致したノード間を切り替えます。システムはデフォルトで最初に一致したノードを特定します。

• 直接リネージのみを表示: このオプションを選択すると、現在のフィールドと直接のリネージ関係を持つ上流および下流のフィールドのみが表示されます。

  説明

  • 直接リネージとは、SELECT や INSERT などの文を使用して読み書きされる上流および下流の資産を指します。フィールドリネージグラフでは、フィールドの計算ロジックがフィルターコンポーネントの where 条件またはフィールド計算コンポーネントのビルトイン関数を使用して処理される場合、リネージは直接リネージとして表示されます。

  • 関連リネージとは、JOIN、GROUP BY、WHERE 条件などのメソッドを使用して参照される関連資産を指します。

• 削除されたフィールドを非表示: リネージはタスクが送信および公開されるときに解析されます。場合によっては、データテーブルが Dataphin スケジューリングタスクによって削除されない場合 (たとえば、アドホッククエリによって、または DPI エンジンで直接削除された場合)、リネージは更新されず、リネージグラフに表示されたままになります。このオプションを選択すると、削除されたテーブルオブジェクトは表示されません。

② 凡例

フィールドリネージは、次のフィールドをサポートしています: 計算ソーステーブルフィールド および データソーステーブルフィールド。

③ リネージグラフの表示

完全なリネージグラフを表示します。上流または下流のノードの複数のレベルを手動で展開し、フィールド名であいまい検索を実行できます。循環依存の関係が存在する場合、リネージをさらに展開することはできません。開始ノードから下流のリネージを表示する必要があります。

中央ノード: 現在のフィールドとそのテーブル名を表示します。ノードは左上隅に [現在のフィールド] とマークされています。フィールドキーワードであいまい検索を実行して、ビューを別のフィールドのリネージグラフに切り替えることができます。

④ オブジェクトの詳細

フィールドにカーソルを合わせると、その詳細が表示されます。詳細には、[名前]、[オブジェクトタイプ]、[データソースタイプ]、[テーブル]、[オーナー]、[データの型]、[説明]、および [リネージソース] が含まれます。[リネージの表示] 操作も実行できます。

• テーブル: データソーステーブルに収集タスクが構成されている場合、テーブル名をクリックして、テーブルが属するデータソースの詳細ページに移動します。

• 権限のリクエスト: ステータスが Normal のメタデータの場合、このボタンをクリックしてテーブルの権限リクエストページに移動できます。

• リネージの表示: クリックして、フィールドのリネージ情報を中央フィールドとして表示します。