Dataphin:MaxCompute 物理テーブルとフィールドの詳細

エリア

説明

① 概要情報

テーブルに関する情報 (タイプ、環境、名前、タグ、説明など) を表示します。次の操作も実行できます:

• 他のアセットオブジェクトの検索: 他のアセットをすばやく検索して切り替え、その詳細を表示します。

• [アセット詳細の表示]: 現在のオブジェクトが [アセットディレクトリ] にリストされている場合、ディレクトリ詳細ページに移動してリスト情報を表示できます。

• [本番/開発オブジェクトの表示]: 対応する本番環境または開発環境のオブジェクト詳細にすばやく切り替えます。

• [タグ]: 現在のアセットに構成されているタグ値を表示します。タグを変更するには、[編集] をクリックします。

  • 各タグ値の長さは最大 128 文字です。

  • 各アセットオブジェクトには最大 20 個のタグ値を構成できます。

  • スーパー管理者は、すべてのテーブルタイプのアセットタグを変更できます。テーブルオーナーは、所有するテーブルのアセットタグを変更できます。プロジェクト管理者は、管理するプロジェクト内の物理テーブルのアセットタグを変更できます。

• [お気に入り]: クリックしてアセットをお気に入りに追加または削除します。アセットをお気に入りに追加すると、[アセットチェックリスト] > [マイフットプリント] で最近追加された 30 個のアセットを表示して、すばやくアクセスできます。[パーソナルデータセンター] ですべてのお気に入りのアセットを表示することもできます。詳細については、「お気に入りのアセットの表示と管理」をご参照ください。

• [分析へ移動]: Notebook ページに移動して、Notebook を自動的に作成します。詳細については、「Notebook の作成」をご参照ください。

• [権限のリクエスト]: 現在のテーブルの権限リクエストページに移動します。詳細については、「テーブル権限のリクエスト、更新、返却」をご参照ください。

• 品質問題のフィードバック: この機能を使用して、アセットの使用中に発生した問題 (不安定なデータ出力や不正確なデータ内容など) について品質オーナーにフィードバックを提供します。これにより、関連するオーナーに修正を迅速に通知し、アセットの可用性と健全性の向上に役立ちます。構成の詳細については、「問題チェックリストの追加と管理」をご参照ください。

  フィードバック機能を使用するには、Data Quality モジュールを有効にする必要があります。その後、Data Quality モジュールの問題チェックリストでフィードバックの処理フローと結果を表示できます。

• [Select 文の生成]: 現在のテーブルの検索文を生成します。エスケープ文字を追加するかどうかを選択できます。検索文をアドホッククエリまたは分析ページにコピーしてデータをクエリできます。

  

• [DDL 文の表示]: テナントコンピュートエンジン内の現在のデータテーブルに対応するデータ定義言語 (DDL) 文を表示します。[データソースタイプ] を選択し、[DDL 文の生成] をクリックすることもできます。システムは、指定されたタイプのデータソースに現在のテーブルと同じ構造を持つテーブルを作成するための DDL 文を生成します。[エスケープ文字を自動的に追加] を選択すると、生成された DDL 文は、選択されたソースタイプに基づいて対応するエスケープ文字を自動的に追加します。これにより、システムキーワードの誤ったエスケープなどの問題が減少します。

  

• [テーブルの編集]: [開発者] > [テーブル管理] ページに移動して、テーブルの DDL 情報を編集します。詳細については、「オフライン物理テーブルの作成」をご参照ください。

• [フィールドのエクスポート]: テーブルのフィールド情報を CSV 形式でエクスポートします。これにより、他の開発者やビジネスアナリストが情報を迅速に分析して使用するのに役立ちます。

• [転送記録の表示]: 現在のデータテーブルの最新 100 件のオーナー変更記録を表示します。

• [権限リストの表示]: データテーブルの権限情報を表示します。

• [メタデータのリフレッシュ]: データテーブルが Dataphin プラットフォームで作成されなかった場合、またはデータ取得の遅延により新しいテーブルのクエリが結果を返さない場合は、[メタデータのリフレッシュ] をクリックします。これにより、最新のメタデータを取得し、指定されたデータテーブルのメタデータを Dataphin システムにリフレッシュします。

② 詳細情報

テーブル、フィールド、パーティションに関する情報を表示します。

• [詳細]: テーブルのプロパティを表示します。プロパティには、データカテゴリ、主題領域、プロジェクト、最高感度レベル (データセキュリティ機能の購入が必要)、テーブルがパーティションテーブルであるかどうか、テーブルが分析プラットフォームで手動で作成されたかどうか、テーブルがレイクハウス テーブルであるかどうか、レイクハウス テーブルのフォーマット、テーブルのストレージモード、ストレージクラス、ストレージフォーマット、ストレージサイズ、ライフサイクル、および場所が含まれます。

  • プロジェクト: 現在のテーブルが属するプロジェクト。プロジェクト名をクリックすると、プロジェクトのアセット詳細ページに移動します。

  • 最高感度レベル: 現在のテーブル内のフィールドの中で最も高い感度レベル。これにより、テーブルのデータの機密性をすばやく理解できます。データ分類レベルは、低いものから高いものへ L1、L2、L3、L4 (公開から最高機密まで) と、カスタムデータ分類があります。

  • テーブルストレージモード: データテーブルがレイクハウス テーブルで、そのフォーマットが Hudi の場合、この情報はソーステーブルであるコンピュートソースから収集できます。

  • ストレージタイプ: 現在のテーブルのストレージクラス。有効な値: 内部テーブルと外部テーブル。

  • ストレージサイズ: 現在のテーブルの実際のストレージサイズ。値は T+1 で更新されます。

  • ライフサイクル: 現在のテーブルの保存期間 (日数)。

  • 場所: コンピュートソースが MaxCompute または Hive である外部テーブルの場合、現在のテーブルのストレージの場所を表示できます。例: hdfs://node01.exp5:8020/user/hive/warehouse。

• [フィールド情報]: フィールド名、説明、データの型、関連する標準 (Data Standard モジュールの購入が必要)、サンプルデータ (データサンプリング機能を有効にした場合のみ表示)、データ分類 (データセキュリティモジュールの購入が必要)、データ分類 (データセキュリティモジュールの購入が必要)、およびヒート情報が含まれます。フィールドの検索、フィルター、リネージの表示もできます。

  • リネージ関係の表示：[アクション] 列のリネージ関係 アイコンをクリックすると、指定されたフィールドを中心としたフィールドリネージを表示できます。

  • 検索とフィルター: 名前または説明でフィールドを検索できます。データ分類とデータ感度レベルでフィールドをフィルターすることもできます。データセキュリティを有効にする必要があります。

• [パーティション情報]: データテーブルのパーティション情報を表示します。複数レベルのパーティションは、各レベルのパーティションの組み合わせとして、スラッシュ (/) で区切られて表示されます。例: ds=20221001/pt1=a/pt2=b。

  説明

  • コンピュートエンジンが MaxCompute で、現在のテーブルが Delta Lake 形式のレイクハウス テーブルの場合、レコード数は表示されません。

  • パーティションのレコード数とストレージサイズは参考用です。

③ 系統と影響

• 系統は、テーブルとフィールド間のデータ系統を表示します。

  • テーブルレベルのリネージソースには、同期タスク、SQL コンピュートタスク、およびシステムによってリネージが自動的に解析される論理テーブルタスク、コンピュートタスク用に手動で構成されたカスタムリネージ、および OpenAPI を使用して登録された外部リネージが含まれます。詳細については、「テーブルレベルのリネージ」をご参照ください。

  • フィールドリネージソースには、同期タスク (フィールドレベルのリネージは一部のデータソースでのみ解析可能)、SQL コンピュートタスク、およびシステムによってリネージが自動的に解析される論理テーブルタスク、コンピュートタスク用に手動で構成されたカスタムリネージ、および OpenAPI を使用して登録された外部リネージが含まれます。詳細については、「フィールドレベルのリネージ」をご参照ください。

    説明

    • システムによって自動的に解析されるリネージおよびコンピュートタスクで手動で構成されるリネージの場合、システムはタスクが送信されたときに開発環境のテーブルとフィールドのリネージを解析し、タスクが公開されたときに本番環境のテーブルとフィールドのリネージを解析します。1 回のタスク送信または公開で、最大 100,000 のリネージ関係の解析がサポートされます。この制限を超えると、関係は記録されず、アセットチェックリストに表示できません。

    • タスクを削除すると、物理テーブルに関連付けられているリネージも削除されます。リネージに関連付けられているタスクではなく、物理テーブルのみを削除した場合、リネージは引き続き存在します。リネージグラフ内の対応するテーブルノードは、未収集または削除済みとして表示されます。

    • OpenAPI を使用して登録されたリネージの場合、API 呼び出しが成功するとリネージはすぐに有効になります。

    • リアルタイム同期タスクが送信または非公開にされると、システムはテーブルリネージを解析できます。リアルタイム同期タスクが実行された後、システムは新規または削除されたテーブルのリネージを解析できません。

    • リアルタイム同期タスクが非公開にされると、リネージは削除されます。これは、リアルタイム同期タスクページで非公開にされたタスクにのみ影響します。O&M ページでオフラインにされたインスタンスは影響を受けません。

• 影響は、データテーブルの影響と同期タスクの影響に分かれています。

  • データテーブルの影響: 現在のテーブルを参照する直接の子孫テーブルと、直接の子孫テーブルを参照する間接的な子孫テーブルを表示します。データをエクスポートして、直接の子孫テーブルのみを表示できます。

    • [データのエクスポート]: ビジネスアナリストが表示するためにデータを Excel ファイルにエクスポートします。

    • [直接の子孫テーブルのみを表示]: このオプションを選択すると、現在のテーブルによって直接影響を受ける子孫テーブルのみが表示されます。このオプションをクリアすると、影響を受けるすべての子孫テーブルが最大 15 レベルまで表示されます。現在のテーブルの直接の子孫は第 1 レベルです。

  • 同期タスクの影響: 現在のテーブルとその子孫テーブルをソーステーブルとして使用する同期タスクを表示します。データをエクスポートして、現在のテーブルへの影響のみを表示できます。

    • [データのエクスポート]: ビジネスアナリストが表示するためにデータを Excel ファイルにエクスポートします。

    • [現在のテーブルの影響のみを表示]: このオプションを選択すると、現在のテーブルを入力テーブルとして使用する同期タスクのみが表示されます。このオプションをクリアすると、現在のテーブルと影響を受けるすべての子孫テーブルを入力テーブルとして使用する同期タスクが最大 15 レベルまで表示されます。現在のテーブルの直接の子孫は第 1 レベルです。

④ 品質の概要

Data Quality 機能を有効にすると、現在のデータテーブルのルール検証の概要と品質監視ルールのリストが表示されます。[レポート詳細の表示] または [ルール詳細の表示] をクリックして、Data Quality モジュールの対応するページに移動し、詳細を確認します。

⑤ データ探索

Data Quality 機能を有効にすると、データテーブルのデータ探索タスクを構成して、データプロファイルをすばやく理解し、データの可用性と潜在的な脅威を事前に評価できます。自動探索を有効にする場合は、[管理] > [メタデータセンター] > [探索と分析] で対応する構成を有効にできます。詳細については、「データ探索タスクの作成」をご参照ください。

⑥ データプレビュー

データテーブルにサンプルデータが存在する場合、デフォルトでサンプルデータが表示されます。手動でクエリをトリガーして最新のデータを取得することもできます。サンプルデータが存在しない場合、データプレビュークエリが自動的にトリガーされます。

• サンプルデータ: この機能は、データサンプリングが有効で、使用構成のデータプレビュースイッチがオンになっている場合に使用できます。列レベルの権限を持ち、データマスキングを必要としないフィールドのサンプルデータのみをクエリできます。システムは各フィールドのサンプルデータを個別に保存およびソートしますが、行レコードの存在や正確性を保証するものではありません。

• データプレビュー: 現在のテーブルをクエリする権限がある場合、データプレビュー機能を使用できます。フィールドレベルおよび行レベルの権限を含む、SELECT 文の権限を持つフィールドの結果のみをクエリできます。最初の 50 件のデータレコードをプレビューできます。権限のリクエスト方法の詳細については、「テーブル権限のリクエスト、更新、返却」をご参照ください。

フィールドでデータを検索またはフィルターしたり、単一行の詳細を表示したり、列幅を調整したり、行と列を入れ替えたりできます。フィールドの横にあるソートアイコンをクリックして、[ソートなし]、[昇順]、または [降順] を選択することもできます。フィールド値をダブルクリックしてコピーします。

⑦ 出力情報

出力タスクには、オブジェクトのデータ書き込みタスク、リネージが自動的に解析されるか、現在のテーブルを出力テーブルとしてカスタム構成されたタスク、および出力名が `プロジェクト名.テーブル名` の形式であるタスクが含まれます。

出力タスクリストはほぼリアルタイムで更新されます。出力詳細は T+1 で更新されます。

• ① 出力詳細の表示: 定期タスクの出力詳細のみを表示できます。詳細については、「出力詳細」をご参照ください。

• ② O&M へ移動: [O&M へ移動] をクリックして、オペレーションセンターのタスクリストページに移動します。現在のタスクは自動的にフィルターされます。ページで詳細情報を表示できます。

⑧ 使用手順

データテーブルに使用説明を追加して、データ視聴者やコンシューマーに情報を提供できます。[使用説明の追加] をクリックし、タイトルと内容を入力します。

⑨ アセット情報

物理テーブルの詳細情報 ([基本情報]、[変更情報]、[使用情報] など) を表示します。

• 基本情報: テーブルの環境、テーブルタイプ、作成時間、作成者、所有者、出力タスクが含まれます。

  • [オーナー]: 現在のテーブルのオーナー。現在のテーブルのオーナーを別のユーザーに変更できます。[オーナーの変更] ダイアログボックスで、開発環境または本番環境のテーブルのオーナー変更を同期するかどうかを選択できます。[受信者] を選択し、[OK] をクリックして、すぐに所有権を転送します。転送後、受信者に速やかに通知することをお勧めします。転送情報は転送記録ページで表示できます。詳細については、「転送記録の表示」をご参照ください。

    説明

    • スーパー管理者は、すべてのテーブルタイプのオーナーを変更できます。テーブルオーナーは、所有するテーブルの所有権を変更できます。

    • プロジェクト管理者は、管理するプロジェクト内の物理テーブルのオーナーを変更できます。

  • [出力タスク]: 現在のテーブルの出力タスクを表示できます。これらには、オブジェクトのデータ書き込みタスク、リネージが解析または構成され、現在のテーブルが出力テーブルとして使用されるタスク、および出力名が `プロジェクト名.テーブル名` の形式であるタスクが含まれます。出力タスクの名前をクリックすると、データテーブルの O&M 詳細ページに移動します。

    説明

    定期タスクの出力詳細のみを表示できます。

• 変更情報: データの変更、最近のアクセス、DDL の変更が含まれます。

  • [データ更新日時]: Dataphin が SQL に基づいて解析した最後のテーブル内容の変更 (DML 操作に対応) の時刻。外部システムによってトリガーされた変更はカウントされません。値はリアルタイムで更新されます。

  • [最終アクセス日時]: Dataphin が SQL に基づいて解析した最後の SELECT 操作 (データクエリ言語 (DQL) 操作に対応) の時刻。外部システムによってトリガーされたアクセスはカウントされません。値はリアルタイムで更新されます。

  • [最終 DDL 時刻]: Dataphin が SQL に基づいて解析した最後のテーブルスキーマ進化 (DDL 操作に対応) の時刻。外部システムによってトリガーされた変更はカウントされません。値はリアルタイムで更新されます。

• 使用情報: お気に入りの数、ページビュー、訪問数が含まれます。

  • [お気に入り数]: 現在のテーブルをお気に入りに追加したユーザーの数。値はリアルタイムで更新されます。

  • [ページビュー]: 現在のデータテーブルのページビュー (PV) 数。ページがリフレッシュされるたびに値が 1 ずつ増加します。値はリアルタイムで更新されます。

  • [訪問数]: SQL 解析に基づき、Dataphin タスクでテーブルが選択される (DQL 操作に対応) たびに、1 回の訪問としてカウントされます。値は T+1 で更新されます。過去 30 日間の合計訪問数が表示されます。

エリア

説明

①検索とクイック操作エリア

• 検索: 現在のページで展開されたノードをテーブル名のキーワードで検索します。検索ボックスの横にある左矢印または右矢印をクリックするか、キーボードの矢印キーを使用して、選択したノードを切り替えることができます。システムは自動的に最初の一致するノードを特定します。

• [直接リネージのみ表示]: [フィルター] > [直接リネージのみ表示] をクリックして、現在のテーブルと直接リネージを持つ上流および下流のテーブルを表示します。

  説明

  • 直接リネージとは、SELECT や INSERT などの文を使用して読み書きされる上流および下流のアセットを指します。

  • 関連リネージとは、JOIN、GROUP BY、WHERE 条件などのメソッドを使用して参照される関連アセットを指します。

  • テーブルレベルのリネージは、直接リネージを持つフィールドが含まれていれば、対応する識別子を表示します。

• [ソーステーブルを非表示]: [フィルター] > [ソーステーブルを非表示] をクリックして、データソースのテーブルオブジェクトとその下流の依存関係を非表示にします。

• [未収集ノードを非表示]: [フィルター] > [未収集ノードを非表示] をクリックします。リネージは、タスクが送信および公開されるときに解析されます。場合によっては、データテーブルが Dataphin スケジューリングタスクによって削除されなかった場合 (たとえば、アドホッククエリまたは DPI エンジンで直接削除された場合)、リネージは更新されません。テーブルは、リネージグラフに未収集ノードとして表示されたままになります。さらに、API を使用して登録されたリネージの場合、関連オブジェクトが Dataphin システムに収集されていない場合も、未収集ノードとして表示されます。このオプションを選択すると、削除された、または収集されていないテーブルオブジェクトは表示されません。

②凡例エリア

テーブルレベルのリネージでサポートされているデータテーブルには、[物理テーブル]、[論理ディメンションテーブル]、[論理ファクトテーブル]、[論理サマリーテーブル]、[論理タグテーブル]、[ビュー]、[マテリアライズドビュー]、[論理ビュー]、[メタテーブル]、[ミラーテーブル]、および [データソーステーブル] が含まれます。

③リネージグラフ表示エリア

完全なイベント連鎖図を表示します。上流または下流の依存関係を複数レベル手動で展開できます。データテーブル名のキーワードであいまい検索を実行できます。

• 中央ノード: 現在のアセットの名前を表示し、左上に [現在のテーブル] とマークされます。

• その他のノード: ノードをクリックすると、その上流および下流のリネージがハイライト表示されます。

• テーブル内のフィールド: ノードにカーソルを合わせ、右側のドロップダウン矢印をクリックします。フィールド名であいまい検索を実行できます。フィールド名をクリックすると、現在のアセット詳細ページに移動してリネージを表示します。

• ノード接続: ノードに自己依存関係がある場合 (たとえば、テーブル内のあるフィールドが別のフィールドに依存している場合)、破線で示されます。

④オブジェクト詳細エリア

テーブルにカーソルを合わせると、その詳細が表示されます。

データソーステーブル: テーブルの [名前]、[ファイル形式]、[ストレージファイル形式]、[データソース]、および [リネージソース] を表示します。

Dataphin データテーブル: テーブルの [名前]、[ファイル形式]、[ストレージファイル形式]、論理テーブルと論理ビューの [主題領域] または物理テーブルと物理ビューの [プロジェクト]、[オーナー]、[ストレージサイズ]、[ライフサイクル] (この情報は Hadoop クラスター上のコンピュートエンジンには表示されません)、[説明]、および [リネージソース] を表示します。[リネージの表示]、[DDL の表示]、および [権限のリクエスト] 操作も実行できます。

• [リネージの表示]: テーブルのテーブルレベルのリネージをすばやく表示します。

• [DDL 文の表示]: データテーブルが物理テーブル、物理ビュー、またはミラーテーブルの場合、クリックしてその DDL 文を表示できます。

• [権限のリクエスト]: テーブルの権限リクエストページに移動します。

エリア

説明

①検索とクイック操作エリア

• 検索: 現在のページで展開されたノードをフィールド名のキーワードで検索します。検索ボックスの横にある左矢印または右矢印をクリックして、一致するノードを切り替えることができます。システムは自動的に最初の一致するノードを特定します。

• [直接リネージのみ表示]: このオプションを選択すると、現在のフィールドと直接リネージを持つ上流および下流のフィールドのみが表示されます。

  説明

  • 直接リネージとは、SELECT や INSERT などの文を使用して読み書きされる上流および下流のアセットを指します。具体的には、フィルターウィジェットで WHERE 条件を使用してフィールドの計算ロジックを処理したり、フィールド計算ウィジェットでビルトイン関数を使用したりすると、フィールドリネージグラフに直接リネージとして表示されます。

  • 関連リネージとは、JOIN、GROUP BY、WHERE 条件などのメソッドを使用して参照される関連アセットを指します。

• [未収集ノードを非表示]: リネージは、タスクが送信および公開されるときに解析されます。場合によっては、データテーブルが Dataphin スケジューリングタスクによって削除されなかった場合 (たとえば、アドホッククエリまたは DPI エンジンで直接削除された場合)、リネージは更新されません。テーブルは、リネージグラフに未収集ノードとして表示されたままになります。さらに、API を使用して登録されたリネージの場合、関連オブジェクトが Dataphin システムに収集されていない場合も、未収集ノードとして表示されます。このオプションを選択すると、削除されたテーブルオブジェクトは表示されません。

②凡例エリア

フィールド系統でサポートされているフィールドには、[計算ソーステーブルフィールド] と [データソーステーブルフィールド] が含まれます。

③リネージグラフ表示エリア

完全なイベント連鎖図を表示します。上流または下流の依存関係を複数レベル手動で展開できます。フィールド名のキーワードであいまい検索を実行できます。循環依存の関係が存在する場合、それ以上展開することはできません。開始ノードから下流の依存関係を表示する必要があります。

中央ノード: 現在のフィールドとそのテーブル名を表示し、左上に [現在のフィールド] とマークされます。フィールドキーワードであいまい検索を実行して、さまざまなフィールドのリネージグラフに切り替えて表示できます。

④オブジェクト詳細エリア

フィールドにカーソルを合わせると、その [名前]、[ファイル形式]、[ストレージファイル形式]、フィールドが存在する論理テーブルと論理ビューの [主題領域] またはフィールドが存在する物理テーブルと物理ビューの [プロジェクト]、[テーブル]、[テーブルオーナー]、[データの型]、[説明]、および [リネージソース] が表示されます。[リネージの表示] および [権限のリクエスト] 操作も実行できます。

• [リネージの表示]: フィールドのフィールドレベルのリネージをすばやく表示します。

• [権限のリクエスト]: フィールドが配置されているテーブルの権限リクエストページに移動します。

エリア

説明

①タスク詳細

[ノード名]、[タスク ID]、[主題領域]、および [オーナー] を表示します。

②定期インスタンス

[平均開始時刻]、[平均出力時刻]、および [平均実行時間] を表示します。

• [平均開始時刻]: 過去 15 日間のすべての正常にスケジュールされた定期インスタンスの最初の実行の平均開始時刻。値は T+1 で更新されます。

• [平均出力時刻]: 過去 15 日間のすべての正常にスケジュールされた定期インスタンスの最初の成功した実行の平均終了時刻。再実行は統計に含まれません。値は T+1 で更新されます。

• [平均実行時間]: 過去 15 日間のすべての正常にスケジュールされた定期インスタンスのすべての成功した実行の平均実行時間の平均。スクリプトタスクの平均実行時間には再実行が含まれますが、論理テーブルタスクの平均実行時間には含まれません。値は T+1 で更新されます。

  説明

  時間単位および分単位のインスタンスの場合、エポックごとに実行詳細を表示できます。エポックは、現在のタスクの最新のスケジューリング構成によって決定されます。平均値は、同じスケジュール時刻を持つ過去のインスタンスに基づいて計算されます。

③実行詳細

[データタイムスタンプ]、[ステータス]、[スケジュール時刻]、[開始時刻]、[終了時刻]、および [実行時間] を表示します。[アクション] 列で [インスタンスの表示] および [ログの表示] 操作も実行できます。

• [インスタンスの表示]: [インスタンスの表示] をクリックします。[定期インスタンス] リストで、タスクを表示および管理できます。詳細については、「スクリプトインスタンスの表示と管理」をご参照ください。

• [ログの表示]: タスクインスタンスの実行ログ詳細を表示します。