物理テーブル詳細の表示
-
Dataphin ホームページで、トップナビゲーションバーの [Governance] > [Asset List] をクリックします。
-
[Data Tables] タブで対象の物理テーブルを選択し、[Actions] 列のテーブル名または 
アイコンをクリックして、その詳細ページを開きます。
物理テーブルの詳細
|
セクション
|
説明
|
|
① 基本情報
|
テーブルのタイプ、環境、名前、タグ、説明などの基本情報を表示します。次の操作も実行できます。
-
他のアセットを検索：他のアセットをすばやく検索して切り替え、詳細を表示します。
-
[アセット詳細を表示]：オブジェクトが[Asset Catalog]で公開されている場合、カタログ詳細ページでリスティング情報を表示できます。
-
[本番/開発オブジェクトを表示]：本番環境または開発環境の対応するオブジェクトの詳細ページにすばやく切り替えます。
-
[タグ]：現在のアセットに設定されているタグを表示します。タグを変更するには、[Edit]をクリックします。
-
[お気に入り]: クリックしてアセットをお気に入りに追加、またはお気に入りから削除します。 アセットをお気に入りに追加すると、アセットリスト > [マイフットプリント] で最新のお気に入り 30 件を確認できます。 また、[パーソナルデータセンター] ですべてのお気に入りアセットを表示することもできます。 詳細については、「お気に入りアセットの表示と管理」をご参照ください。
-
[分析に移動]：クリックすると Notebook ページに移動し、対応する Notebook タスクが自動的に作成されます。詳細については、「Notebook の作成」をご参照ください。
-
[権限を申請]：クリックすると、現在のテーブルの権限申請ページに移動します。詳細については、「テーブル権限の申請、更新、解放」をご参照ください。
-
データ品質の課題を報告：データ生成の不安定性やコンテンツの不正確さなどのデータ品質の課題を、アセットの品質所有者に報告します。これにより、所有者が迅速に課題を修正し、アセットの可用性と健全性を向上させることができます。設定の詳細については、「課題リストの追加と管理」をご参照ください。
この機能にはデータ品質モジュールが必要です。報告された課題の処理フローと結果は、データ品質モジュールの課題リストで確認できます。
-
[SELECT ステートメントを生成]：現在のテーブルのクエリステートメントを生成します。エスケープ文字を追加するかどうかを選択してから、ステートメントをアドホッククエリまたは分析ページにコピーできます。
-
[DDL ステートメントの表示]: テナントのコンピューティングエンジンで現在のテーブルのデータ定義言語 (DDL) ステートメントを表示します。 また、[データソースタイプ] を選択し、[DDL ステートメントの生成] をクリックして、指定したデータソースタイプでテーブル構造を複製する DDL ステートメントを作成することもできます。 [エスケープ文字を自動的に追加] を選択すると、システムキーワードとの競合を防ぐためにエスケープ文字が追加されます。
-
[テーブルを編集]：[Develop] - [Table Management]ページに移動して、このテーブルの DDL 情報を編集します。詳細については、「オフライン物理テーブルの作成」をご参照ください。
-
[フィールドをエクスポート]：テーブルのフィールド情報を CSV ファイルとしてエクスポートして分析します。
-
[移管記録を表示]：現在のデータテーブルの所有者移管記録のうち、最新の 100 件を表示します。
-
[権限リストを表示]：データテーブルの権限情報を表示します。
-
[メタデータの更新]: データテーブルが Dataphin の外部で作成された場合、またはメタデータの遅延が原因で新しいテーブルのクエリが失敗した場合は、[メタデータの更新] をクリックします。この操作により、テーブルの最新のメタデータを取得し、Dataphin と同期します。
説明
分析プラットフォームテーブルは、「分析に移動」、「権限を申請」、「データ品質の課題を報告」、「テーブルを編集」、「移管記録を表示」、「権限リストを表示」をサポートしていません。
|
|
② 詳細
|
テーブル、フィールド、パーティションの情報を表示します。
-
[テーブルの詳細]：ビジネスセグメント、サブジェクトドメイン、プロジェクト、最高セキュリティレベル (データセキュリティ機能が必要)、パーティションテーブルかどうか、分析プラットフォームで手動作成されたテーブルかどうか、レイクテーブルかどうか、レイクテーブルフォーマット、テーブルストレージモード、ストレージタイプ、ストレージフォーマット、ストレージサイズ、ライフサイクル、ロケーションなど、テーブルのプロパティを表示します。
-
プロジェクト：現在のテーブルが属するプロジェクトです。プロジェクト名をクリックすると、そのプロジェクトのアセット詳細ページに移動します。
-
最高セキュリティレベル：テーブル内のすべてのフィールドの中で最も高い機密レベルであり、データの機密性を迅速に把握できます。[Data Classification]レベルは、低から高の順に L1 ~ L4 (公開～最高機密) とカスタムデータ分類があります。
-
テーブルストレージモード：データテーブルが Hudi フォーマットのレイクテーブルの場合、Dataphin はこの情報をコンピューティングソースから収集します。
-
ストレージタイプ：現在のテーブルのストレージタイプで、内部テーブルまたは外部テーブルです。
-
ストレージサイズ：現在のテーブルの実際のストレージサイズです。この情報は T+1 ベースで更新されます。
-
ライフサイクル：現在のテーブルの保持期間 (日数) です。
-
ロケーション：現在のテーブルのストレージロケーションです。これは、MaxCompute または Hive のコンピューティングソースを使用する外部テーブルにのみ適用されます。例：hdfs://node01.exp5:8020/user/hive/warehouse
-
[フィールド情報]：フィールド名、説明、データタイプ、関連標準 (データ標準モジュールが必要)、サンプルデータ (データサンプリング機能が有効な場合のみ表示)、データ分類 (データセキュリティモジュールが必要)、データ分類レベル (データセキュリティモジュールが必要)、人気度情報が含まれます。フィールドの検索、フィルタリング、リネージの表示も実行できます。
-
[パーティション情報]：データテーブルのパーティション情報を表示します。マルチレベルパーティションは、各レベルの組み合わせとしてスラッシュ (/) で区切られて表示されます。例：ds=20221001/pt1=a/pt2=b
|
|
③ リネージと影響
|
|
|
④ 品質概要
|
データ品質機能が有効になっている場合、このセクションには現在のテーブルのルールチェックの概要と品質モニタリングルールが表示されます。[レポート詳細] ボタンまたは [ルール詳細] ボタンをクリックすると、データ品質モジュールの対応するページに移動し、詳細を確認できます。
説明
品質概要は、分析プラットフォームテーブルでは利用できません。
|
|
⑤ データプロファイリング
|
データ品質機能が有効な場合、データプロファイリングタスクを設定して、データの特性を理解し、使用可能性を評価できます。自動プロファイリングを有効にするには、[Governance] > [Metadata Center] > [Profiling and Analysis]に移動して設定を行います。詳細については、「データプロファイリングタスクの作成」をご参照ください。
|
|
⑥ データプレビュー
|
システムは、利用可能な場合はデフォルトでサンプルデータを表示します。また、最新のデータを手動でクエリすることもできます。サンプルデータが存在しない場合は、データプレビュークエリが自動的に実行されます。
-
サンプルデータ：データサンプリングスイッチがオンで、設定のデータプレビュースイッチもオンの場合に表示されます。クエリは、列レベルの権限を持ち、データマスキングを必要としないフィールドのサンプルデータのみを返します。システムは各フィールドのサンプルデータを個別に保存してソートしますが、行の存在や正確性は保証されません。
-
データプレビュー：現在のテーブルのデータをクエリする権限がある場合、データプレビュー機能を使用できます。選択権限 (フィールドおよび行レベルの権限を含む) を持つフィールドの結果のみが返されます。最大 50 行のデータをプレビューできます。権限の申請方法については、「テーブル権限の申請、更新、解放」をご参照ください。
フィールドの検索やフィルター、検索、単一行詳細の表示、列幅の自動調整、行と列の入れ替えができます。また、フィールドの横にある並べ替えアイコンをクリックして、[昇順]または[降順]で並べ替えたり、[ソートなし]のままにしておくこともできます。フィールド値をダブルクリックするとコピーできます。
|
|
⑦ 出力情報
|
出力タスクには、オブジェクトへのデータ書き込みタスク、現在のテーブルを出力としてリネージが解析または設定されているタスク、ノード出力名が ProjectName.TableName 形式のタスクが含まれます。
出力タスクリストはほぼリアルタイムで更新されます。出力詳細は T+1 ベースで更新されます。
|
|
⑧ 説明
|
データテーブルに指示を追加して、データ閲覧者や利用者に参考情報を提供できます。[指示の追加]をクリックし、タイトルとコンテンツを入力して指示を追加します。
|
|
⑨ アセット情報
|
物理テーブルの詳細情報として、[基本情報]、[変更情報]、[使用情報] が表示されます。
-
基本情報：テーブルの環境、タイプ、作成時刻、作成者、所有者、出力タスクが含まれます。
-
[所有者]: 現在のテーブルの所有者です。 テーブルの所有権を別のユーザーに譲渡できます。 [所有者の譲渡] ダイアログボックスで、対応する開発環境および本番環境のテーブルを同時に譲渡するかどうかを選択できます。 [受信者] を選択し、[OK] をクリックして譲渡を完了します。 譲渡後に受信者に通知することをお勧めします。 譲渡記録ページで譲渡情報を表示できます。 詳細については、「譲渡記録の表示」をご参照ください。
-
[出力タスク]：現在のテーブルの出力タスクを表示できます。これには、オブジェクトにデータを書き込むタスク、現在のテーブルを出力としてリネージが解析または設定されているタスク、ノード出力名が ProjectName.TableName 形式のタスクが含まれます。出力タスク名をクリックすると、そのデータテーブルの運用保守詳細ページに移動します。
説明
スケジュールされたタスクの出力詳細のみを表示できます。
-
変更情報：データ更新、最終アクセス、DDL 更新が含まれます。
-
[データ更新]：Dataphin システムが、コンピューティングエンジンから収集したテーブルコンテンツの最終変更時刻 (DML 操作に対応) です。ほぼリアルタイムで更新されます。
-
[最終アクセス]：Dataphin が SQL から解析した、最後の SELECT 操作 (DQL 操作に対応) の時刻です。外部システムからのアクセスはカウントされません。リアルタイムで更新されます。
-
[DDL 更新]：Dataphin が SQL から解析した、最後のテーブル構造変更 (DDL 操作に対応) の時刻です。外部システムからの変更はカウントされません。リアルタイムで更新されます。
-
利用情報：お気に入り、ページビュー (PV)、アクセス回数が含まれます。
-
[お気に入り]：現在のテーブルをお気に入りに追加したユーザーの数です。リアルタイムで更新されます。
-
[ページビュー (PV)]：現在のデータテーブルのページがアクセスされた回数です。このカウントは、更新ごとに 1 ずつ増加します。リアルタイムで更新されます。
-
[アクセス回数]：Dataphin タスクでテーブルが選択された回数 (DQL 操作に対応) であり、SQL から解析されます。各選択が 1 回のアクセスとしてカウントされます。T+1 ベースで更新され、過去 30 日間の合計アクセス回数が表示されます。
|
テーブルレベルのリネージ
テーブルレベルのリネージページにはリネージグラフが表示されます。ソースには、システムが自動的にリネージを解析できる統合および同期タスク、SQL コンピューティングタスク、および論理テーブルタスクのほか、コンピューティングタスクで手動で設定したカスタムリネージ、および OpenAPI を介して登録した外部リネージも含まれます。
|
セクション
|
説明
|
|
① 検索とクイックアクション
|
-
検索：テーブル名のキーワードで、現在のページに展開されているノードを検索します。検索ボックスの横にある左右矢印をクリックするか、キーボードの上下矢印キーで、選択中のノードをすばやく切り替えることができます。システムは最初に一致したノードを自動的に特定します。
-
[直接リネージのみを表示]：[Filter] > [Show Direct Lineage Only] をクリックして、現在のテーブルと直接リネージ関係にあるアップストリームテーブルとダウンストリームテーブルを表示します。
説明
-
直接リネージとは、SELECT、INSERT などのステートメントによって読み書きされるアップストリームおよびダウンストリームのアセットを指します。
-
関連リネージとは、JOIN、GROUP BY、WHERE 句などの構文によって参照される関連アセットを指します。
-
テーブルレベルリネージでは、いずれかのフィールドが直接リネージ関係にある場合、直接リネージのインジケーターが表示されます。
-
[データソーステーブルを非表示]：[Filter] > [Hide Data Source Tables] をクリックして、データソースのテーブルオブジェクトと、そのダウンストリーム依存関係を非表示にします。
-
[未収集ノードを非表示]：[Filter] > [Hide Uncollected Nodes] をクリックします。リネージは、タスクのサブミットと公開時に解析されます。場合によっては、データテーブルが Dataphin のスケジュールタスク経由で削除されなかった場合 (例えば、アドホッククエリで削除した場合、またはエンジンで直接削除した場合など)、リネージは更新されません。その場合、テーブルは未収集ノードとしてリネージグラフに引き続き表示されます。また、API 経由で登録されたリネージについては、関連オブジェクトが Dataphin システムにまだ収集されていない場合も、未収集ノードとして表示されます。このオプションを選択すると、削除済みまたは未収集のテーブルオブジェクトが非表示になります。
|
|
② 凡例
|
テーブルレベルリネージは、物理テーブル、ディメンション論理テーブル、ファクト論理テーブル、集約論理テーブル、タグ論理テーブル、物理ビュー、マテリアライズドビュー、論理ビュー、メタテーブル、ミラーテーブル、データソーステーブルなど、さまざまなデータテーブルタイプをサポートしています。
|
|
③ リネージグラフの表示
|
完全なリネージグラフを表示します。アップストリームまたはダウンストリームのノードを複数レベルまで展開でき、テーブル名で検索できます。
-
センターノード：現在のアセット名が表示され、左上に [Current Table] ラベルが付いています。
-
その他のノード：ノードをクリックすると、そのアップストリームおよびダウンストリームのリネージ関係が強調表示されます。
-
テーブル内のフィールド：ノードにポインターを合わせて右側のドロップダウン矢印をクリックすると、フィールド名であいまい検索を実行できます。フィールド名をクリックすると、そのアセットの詳細ページに移動し、リネージを表示できます。
-
ノード接続線：ノードに自己依存 (例：テーブル内のあるフィールドが、同じテーブル内の別のフィールドに依存している場合) がある場合、接続は破線で示されます。
|
|
④ オブジェクト詳細
|
別のノードにポインターを合わせると、その詳細が表示されます。
-
データソーステーブル：テーブル名、オブジェクトタイプ、ストレージ形式、関連データソース、リネージソースを表示します。
-
Dataphin データテーブル：テーブル名、オブジェクトタイプ、ストレージ形式を表示します。論理テーブルと論理ビューではビジネスセグメントが表示されます。物理テーブルと物理ビューではプロジェクトが表示されます。また、所有者、ストレージサイズ、ライフサイクル (Hadoop クラスターのコンピューティングエンジンでは表示されません)、説明、リネージソースも表示されます。さらに、[View Lineage]、[View DDL Statement]、[Apply for Permissions] のアクションも実行できます。
-
[リネージを表示]：テーブルのテーブルレベルリネージを表示します。
-
[DDL ステートメントを表示]：物理テーブル、物理ビュー、ミラーテーブルの場合、テーブルの DDL ステートメントを表示します。
-
[権限を申請]：テーブルの権限申請ページに移動します。
|
フィールドリネージ
フィールドリネージページにはリネージグラフが表示されます。ソースには、システムによってリネージが自動解析される統合および同期タスク、SQL コンピューティングタスク、および論理テーブルタスクのほか、コンピューティングタスクで手動で設定されたカスタムリネージおよび OpenAPI を介して登録された外部リネージも含まれます。
|
セクション
|
説明
|
|
① 検索とクイックアクション
|
-
検索：フィールド名のキーワードを使用して、現在のページで展開されているノードを検索します。検索ボックスの横にある左右矢印をクリックするか、キーボードの上下矢印キーを使用して、選択中のノードをすばやく切り替えることができます。システムは最初に一致したノードを自動的に特定します。
-
[直接リネージのみを表示]：選択すると、現在のフィールドと直接リネージ関係にあるアップストリームフィールドとダウンストリームフィールドのみが表示されます。
説明
-
直接リネージとは、select や insert などのステートメントを使用して読み書きされる、上流または下流のアセットを指します。たとえば、あるフィールドの計算ロジックでフィルターの where 句や、計算で組み込み関数が使用されている場合、そのフィールドは直接リネージを持つことになります。
-
関連リネージとは、join、group by、または where 条件などのメソッドを使用して参照されるアセットを指します。
-
[未収集ノードを非表示]：リネージは、タスクのサブミットと公開時に解析されます。場合によっては、データテーブルが Dataphin のスケジュールタスク経由で削除されなかった場合 (例：アドホッククエリで削除した場合、またはエンジンで直接削除した場合)、リネージが更新されません。その場合、テーブルは未収集ノードとしてリネージグラフに引き続き表示されます。また、API を通じて登録されたリネージについては、関連オブジェクトが Dataphin システムにまだ収集されていない場合も、未収集ノードとして表示されます。このオプションを選択すると、削除済みのテーブルオブジェクトが非表示になります。
|
|
② 凡例
|
フィールドリネージは、[計算ソーステーブル] と [データソーステーブル] のフィールドをサポートします。
|
|
③ リネージグラフの表示
|
完全なリネージグラフを表示します。アップストリームまたはダウンストリームのノードを複数レベルまで展開でき、フィールド名による検索も可能です。循環依存が存在する場合、それ以上は展開できず、開始ノードからダウンストリームを表示する必要があります。
中央ノード：現在のフィールドとそのテーブルの名前を表示し、左上隅に [現在のフィールド] ラベルが表示されます。フィールドのキーワードであいまい検索を実行して、別のフィールドのリネージグラフに切り替えることができます。
|
|
④ オブジェクト詳細
|
別のノードをポイントすると、その詳細が表示されます。
|
出力の詳細
このデータテーブルの出力タスクを表示できます。これには、オブジェクトにデータを書き込むタスク、現在のテーブルを出力としてリネージをパースまたは構成するタスク、およびノード出力名が ProjectName.TableName フォーマットのタスクが含まれます。
|
セクション
|
説明
|
|
① タスク詳細
|
[ノード名]、[タスク ID]、[ビジネスセグメント]、[所有者]を表示します。
|
|
② スケジュールされたインスタンス
|
[平均開始時刻]、[平均出力時刻]、[平均実行時間]を表示します。
-
[平均開始時刻]：過去 15 日間に正常にスケジュールされたすべてのインスタンスにおける、初回実行の開始時刻の平均です。 T+1 ベースで更新されます。
-
[平均出力時刻]：過去 15 日間に正常にスケジュールされたすべてのインスタンスにおける、初回成功実行の平均終了時刻です。 再実行は含まれません。 この値は T+1 ベースで更新されます。
-
[平均実行時間]：過去 15 日間に正常にスケジュールされたインスタンスの、すべての成功した実行における平均実行時間です。 スクリプトタスクの場合、再実行は計算に含まれます。 論理テーブルタスクの場合、再実行は除外されます。 T+1 ベースで更新されます。
説明
時間単位および分単位のインスタンスの場合、期間ごとに実行詳細を表示できます。 システムは、タスクの最新のスケジューリング設定で定義されたサイクル間隔に基づいて、同じスケジュール時刻を持つ過去のインスタンスの平均実行メトリックを計算します。
|
|
③ 実行詳細
|
[業務日]、[ステータス]、[スケジュール時刻]、[開始時刻]、[終了時刻]、[実行時間]を表示します。 [操作] 列では [インスタンスの表示] や [ログの表示] も可能です。
|
フィールドの詳細
このセクションには、現在のフィールドを含むデータテーブルの詳細が表示されます。詳細については、「物理テーブルの詳細」をご参照ください。
をクリックすると、指定されたフィールドを中心としたフィールドリネージが表示されます。