DataWorks:データ資産ガバナンス

制限事項

• エディション

  データ資産ガバナンスをサポートしているのは、DataWorks Enterprise Edition またはそれ以上のエディションのみです。DataWorks のエディションについては、「DataWorks：エディション別の機能」をご参照ください。DataWorks の有効化については、「購入ガイド」をご参照ください。

• リージョン

  データ資産ガバナンスは、中国 (杭州)、中国 (上海)、中国 (北京)、中国 (張家口)、中国 (深セン)、中国 (成都)、中国 (香港)、シンガポール、日本 (東京)、

  マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、ドイツ (フランクフルト)、米国 (シリコンバレー)、および米国 (バージニア) の各リージョンで利用できます。

• 権限

  • 次の表は、各ロールがデータ資産ガバナンスに対して持つ権限について説明しています。

    ロール	権限	リファレンス
    テナントレベルのデータガバナンス管理者	テナントレベルのデータガバナンス管理者は、Global パースペクティブから、ガバナンスレポート、ガバナンス上の問題、およびイベントを確認し、必要な是正措置を実行できます。	ユーザーに権限を付与する方法については、「グローバルレベルのサービスに対する権限の管理」トピックの「テナントメンバーのロールを管理」セクションをご参照ください。 データガバナンス管理者の権限の詳細については、「組み込みのワークスペースレベルのロールの権限」トピックの「データガバナンス」セクションをご参照ください。
    ワークスペース管理者	ワークスペース管理者は、Workspace View ディメンションからガバナンスレポートを表示できます。特定のワークスペースのガバナンスレポートを表示するには、そのワークスペースのワークスペース管理者ロールが必要です。	ユーザーに権限を付与する方法については、「ワークスペースレベルのサービスに対する権限の管理」トピックの「RAM ユーザーをメンバーとしてワークスペースに追加し、メンバーにロールを割り当てる」セクションをご参照ください。 ガバナンスレポートの表示方法については、「データガバナンス結果の表示」トピックの「ガバナンス評価レポートの表示」セクションをご参照ください。
    ワークスペースレベルのデータガバナンス管理者	ワークスペースレベルのデータガバナンス管理者は、所属するワークスペースのデータガバナンスコンテンツを表示および管理できます。 説明 このロールには、グローバルディメンションからリージョン内のすべてのワークスペースのデータガバナンス状況を表示したり、グローバルレベルで確認項目を有効にするなどのグローバルガバナンス操作を管理したりする権限はありません。Resource Access Management (RAM) ユーザーにグローバルガバナンス操作の実行を許可する場合は、テナントレベルでデータガバナンス管理者ロールを RAM ユーザーに割り当てる必要があります。詳細については、「テナントレベルのデータガバナンス管理者ロール」をご参照ください。	ユーザーに権限を付与する方法については、「ワークスペースレベルのサービスに対する権限の管理」トピックの「RAM ユーザーをメンバーとしてワークスペースに追加し、メンバーにロールを割り当てる」セクションをご参照ください。 ワークスペースレベルのデータガバナンス管理者ロールでサポートされている機能の詳細については、「組み込みのワークスペースレベルのロールの権限」トピックの「データガバナンス」セクションをご参照ください。
    一般ユーザー	一般ユーザーは、データ資産ガバナンスで検出された問題に対処する担当者です。一般ユーザーは、個人ディメンションから確認イベントやガバナンス上の問題を表示し、是正操作を実行できます。テナントのワークスペースで検出された問題に対して是正操作を実行するには、メンバーとしてそのワークスペースに追加されている必要があります。 説明 デフォルトでは、Alibaba Cloud アカウント (root ユーザー) と [AliyunDataWorksFullAccess] ポリシーがアタッチされた RAM ユーザーを除くすべてのユーザーが、テナント内の一般ユーザーとなります。	ユーザーに権限を付与する方法については、「ワークスペースレベルのサービスに対する権限の管理」トピックの「RAM ユーザーをメンバーとしてワークスペースに追加し、メンバーにロールを割り当てる」セクションをご参照ください。

  • [AliyunDataWorksFullAccess] ポリシーが付与された Alibaba Cloud アカウントと RAM ユーザーのみが、Data Asset Governance のすべての機能を使用できます。 RAM ユーザーとして Data Asset Governance のすべての機能を使用したい場合は、必要な権限を申請する必要があります。 詳細については、「Prepare a RAM user トピックの RAM ユーザーに DataWorks での操作を実行する権限を付与する セクション」をご参照ください。

• 計算リソース

  現在、データ資産ガバナンスは MaxCompute、E-MapReduce (EMR)、および Hologres の計算リソースのみをサポートしています。

  説明

  • データ資産ガバナンスで Hologres 計算リソースを使用するには、まずデータマップでそのメタデータを収集する必要があります。詳細については、「メタデータ収集」をご参照ください。

  • データ資産ガバナンスは、中国 (北京)、中国 (上海)、中国 (杭州)、および中国 (深セン) リージョンでのみ Hologres 計算リソースをサポートしています。

データガバナンスのロジック

データ資産ガバナンスは、データ開発タスクがコミットおよびデプロイされる前に、確認項目に基づいて確認イベントを検出します。タスクがコミットおよびデプロイされた後には、ガバナンス項目に基づいてガバナンス上の問題を検出します。これにより、データに関連するイベントや問題に包括的に対処できます。ある項目の確認がタスクに対してトリガーされ、タスクがその確認に失敗すると、イベントが生成されます。重大なイベントは、後続のデータ開発プロセスをブロックする可能性があります。データ資産ガバナンスでイベントを表示し、対処することができます。イベントが処理され、タスクが確認に合格すると、後続のデータ開発プロセスに進むことができます。次の図は、データガバナンスのロジックを示しています。

DataWorks は、標準モードと基本モードのワークスペースを提供します。タスク開発プロセスは、ワークスペースのモードによって異なります。このトピックでは、標準モードのワークスペースを使用してタスクを開発する方法を示します。実際のタスク開発プロセスは、ご利用のワークスペースのモードによって異なります。異なるモードのワークスペースでの一般的な開発プロセスの詳細については、「DataStudio (レガシー)」をご参照ください。

• 確認項目に基づいて確認を実行

  確認項目は、タスクがコミットおよびデプロイされる前に、データが確認項目に違反していないかを確認するために使用されます。タスクをコミットおよびデプロイする前に、指定したタスク開発の確認項目にタスクが違反していないかを確認できます。システムがタスクが確認項目に違反していると検出した場合、確認イベントが生成され、後続のタスク開発プロセスがブロックされます。確認イベントに関連する問題に対処することで、タスク開発プロセスを期待どおりに実行できます。

• ガバナンス項目に基づいて確認を実行

  ガバナンス項目の検出は、デプロイ後のガバナンスメカニズムです。データ資産ガバナンスの Global、Individual、または Workspace View ディメンションを使用して、未解決のガバナンス項目を表示できます。データガバナンス担当者はこの情報を使用して、問題を迅速に発見・解決し、チームがガバナンス目標を達成するのを支援します。

データガバナンスのプロセス

1. ガバナンスツールの設定

   • ガバナンスプランテンプレートを有効にし、カスタム項目を設定します。

     操作	説明	リファレンス
     カスタム確認項目の設定	テンプレートで提供される確認項目がビジネス要件を満たさない場合は、ビジネス要件に基づいてカスタム確認項目を設定できます。 登録済みのカスタム拡張の確認項目を作成します。 DataWorks では、データ資産ガバナンスでカスタム拡張の確認項目を作成することもできます。このような確認項目を作成すると、データ資産ガバナンスはカスタム拡張によってトリガーされた確認イベントを検出します。 確認項目を無効にします。 ガバナンスプランテンプレートに、あるワークスペースにとって不要な確認項目が含まれている場合、そのワークスペースに対して確認項目を無効にすることができます。確認項目を無効にすると、データ資産ガバナンスは指定されたワークスペースでその確認項目によってトリガーされる確認イベントを検出しなくなります。	確認項目の設定
     カスタムガバナンス項目の設定	ガバナンスプランテンプレートに、あるワークスペースにとって不要なガバナンス項目が含まれている場合、ルールを作成して指定されたワークスペースでそのガバナンス項目を無効にすることができます。ガバナンス項目を無効にすると、データ資産ガバナンスは指定されたワークスペースでそのガバナンス項目に基づいてガバナンス上の問題を検出しなくなります。検出されたガバナンス上の問題は「ガバナンス上の問題」タブに表示されません。 説明 無効にできるのはオプションのガバナンス項目のみです。必須のガバナンス項目を無効にしたり、ガバナンス項目を作成したりすることはできません。	ガバナンス項目の設定

   • オプション。ガバナンスユニットの設定

     DataWorks では、ビジネス要件に基づいてガバナンスユニットを作成することで、複数のワークスペースのデータガバナンスを一元的に実行できます。その後、ガバナンスユニット内のワークスペースの全体的なヘルススコア、ガバナンス上の問題、確認イベントに関する統計情報を表示できます。ガバナンスユニットの作成と管理方法の詳細については、「ガバナンスユニットの設定」をご参照ください。

   • オプション。問題の通知方法の設定

     システムメッセージ、メール、DingTalk グループメッセージ、Webhook URL を使用して、検出された問題を指定された担当者に通知したい場合は、問題の通知方法を設定できます。これにより、指定された担当者は問題をいち早く表示し、対処することができます。詳細については、「アラート設定」をご参照ください。

2. 確認を開始し、検出されたガバナンス上の問題に対処します。

   • データがコミットおよびデプロイされる前に、確認項目に違反していないかを確認します。

     DataWorks は確認項目に基づいて確認を実行します。データがコミットおよびデプロイされる前に、DataWorks は確認項目に基づいてデータを確認します。データが確認項目に違反している場合、確認イベントが生成されます。その後、確認イベントを表示して対処できます。詳細については、「確認イベントの対処」をご参照ください。

   • タスクデプロイ後に確認を実行します。

     DataWorks はガバナンス項目に基づいてガバナンス上の問題を検出します。データがコミットおよびデプロイされた後、DataWorks はガバナンス項目に基づいてガバナンス上の問題を検出します。その後、ガバナンス上の問題を表示して対処できます。詳細については、「確認イベントの対処」をご参照ください。

   • 資産 360 確認を実行します。

     資産 360 機能を使用して、指定されたタスクとテーブルのガバナンス上の問題を検出し、表示し、対処することができます。詳細については、「資産 360」をご参照ください。

   • マテリアライズドビューの自動ガバナンスを実行します。

     データ資産ガバナンスは、自動ガバナンスとインテリジェントな推奨に基づくマテリアライズドビューをサポートしています。これは、多数の類似したサブクエリを頻繁に処理する必要があるビッグデータコンピューティングタスクのための、インテリジェントで自動化されたソリューションです。詳細については、「マテリアライズドビュー」をご参照ください。

   このプロセスで無効な問題が検出された場合は、問題をホワイトリストに追加するか、無効な問題が検出された関連タスクまたはテーブルをアンデプロイすることができます。詳細については、「問題をホワイトリストに追加する」および「グレースフルアンデプロイ」をご参照ください。

3. 分析ディメンションを選択します。

   • 利用シーンに基づく：DataWorks は、データの本番、データの使用、データ管理など、複数のディメンションを提供し、データガバナンスの有効性を分析し、効率的にデータを統制するのに役立ちます。

   • リソースの合理的な使用に基づく：DataWorks は、リソース消費とタスク実行状況、MaxCompute テーブルの数とストレージ状況、リソース使用量の概要と詳細に関する統計情報を提供します。データ開発者と管理者は、ワークスペースの全体的なリソース状況を表示・分析し、統計情報に基づいてリソースを合理的に使用できます。資産分析の詳細については、「資産分析」をご参照ください。

4. ガバナンス結果の表示

   ガバナンス上の問題に対処した後、Overview > [ワークベンチ] ページに移動して、さまざまな視点からガバナンスの結果を表示できます。結果を分析することで、最もガバナンス上の問題が多いディメンションとカテゴリを迅速に特定し、解決を推進してガバナンス目標を達成するのに役立ちます。

   データ資産ガバナンスは、ヘルス評価モデルを使用して、ガバナンス項目に基づいてヘルススコアを計算します。ガバナンスレポートやガバナンスランキングでヘルススコアを表示し、ガバナンスの結果を把握できます。ヘルススコアが高いほど、ガバナンスの結果が良好であることを示します。ヘルススコアの詳細については、「概要」トピックの「定量的評価：ヘルススコア」セクションをご参照ください。

定量的評価：ヘルススコア

ヘルススコアは、データ資産の状態を反映する複合スコアです。システムは、データの本番、ディストリビューション、管理にわたるユーザーの行動、データ特性、タスクプロパティなどのメタデータに対して、データ処理と機械学習技術を使用して計算します。ヘルススコアシステムは、ストレージ、コンピュート、開発、品質、セキュリティの 5 つの主要なドメインに基づいて構築されており、それぞれに対応する 5 つのヘルススコアメトリックがあります。ヘルススコアページには、[開発]、[ストレージ]、[コンピュート]、[品質]、[セキュリティ] の 5 つのディメンションのガバナンススコアを示すレーダーチャートが表示されます。また、前月比のトレンド情報も提供されます。

ヘルススコアの範囲は 0 から 100 です。スコアが高いほど、データ資産が健全であることを示します。これにより、データを安全、効率的、かつ安定して使用し、データの本番とビジネス運営を保証できます。データ資産ガバナンスは、組み込みのヘルス評価モデルを使用して、アカウントのデータガバナンスの有効性を定量的に評価し、全体的なヘルススコアと各ガバナンスディメンションのヘルススコアを生成します。ヘルススコアが高いほど、ガバナンスの有効性が高いことを示します。次の表は、評価グレードと各グレードのヘルススコアの範囲を示しています。

• 優秀：[90, 100]

• 良好：[75, 90)

• 合格：[60, 75)

• 要改善：[30, 60)

• 不良：[0,30)

用語

• Check item：データの本番ワークフロー中に適用されるプロアクティブなガバナンスメカニズムです。タスクの実行やデプロイなどの重要な段階で事前チェックを実行し、全表スキャンやスケジューリング依存関係の欠落などの潜在的な問題を特定します。システムが非準拠項目を検出すると、確認イベントを生成し、プロセスを自動的にブロックします。これにより、標準化が強制され、データ処理が正規化されます。

• Governance Item：ガバナンス項目は、データガバナンス中に特定された潜在的な問題や最適化の余地がある領域を定義します。開発標準、データ品質、セキュリティコンプライアンス、リソース使用率などの領域をカバーします。ガバナンス項目は、必須項目とオプション項目に分かれています。必須項目はデフォルトで有効になっており変更できませんが、オプション項目は必要に応じて有効にできます。例としては、[タスク実行時間が長すぎる]、[連続エラーノード]、[リーフノードへのアクセスがない] などがあります。

• Governance Issue：ガバナンス項目のスキャンによって検出され、解決が必要な問題。

• [ガバナンスユニット]：ガバナンスユニットは、1 つ以上のワークスペースで構成されます。ガバナンスユニット内のワークスペースの全体的なヘルススコア、ガバナンス上の問題、確認イベントの統計情報を表示できます。

• [ガバナンスプラン]：データ資産ガバナンスは、特定の期間内に所定のガバナンス目標を達成することに重点を置いた、さまざまなガバナンスシナリオ向けのガバナンスプランテンプレートを提供します。ガバナンスプランテンプレートを使用すると、関連性の高いガバナンス項目と確認項目を迅速に決定し、最適化できるオブジェクトを特定できます。これにより、ガバナンスの所有者はデータガバナンスの有効性を常に監視し、定量的評価を実行することでチームが効率的にガバナンス目標を達成するのを支援します。

• Knowledge Base：データ資産ガバナンスに組み込まれている確認項目とガバナンス項目の定義が含まれています。データガバナンス担当者がガバナンス中に特定された特定の問題を迅速に特定・理解し、効率を向上させるための参照情報と実践的なガイダンスを提供します。

関連ドキュメント

データ開発段階での確認項目の使用に関する詳細については、「ノード開発の問題の診断と統制」をご参照ください。