データ資産ガバナンスの概要 - DataWorks - Alibaba Cloud ドキュメントセンター

制限事項

エディション

データ資産ガバナンスは、DataWorks Enterprise Edition 以降のエディションでのみサポートされます。DataWorks のエディションについては、「DataWorks: Features by edition」をご参照ください。DataWorks の有効化方法については、「Purchase guide」をご参照ください。
リージョン

データ資産ガバナンスは、次のリージョンで利用できます：China (Hangzhou)、China (Shanghai)、China (Beijing)、China (Zhangjiakou)、China (Shenzhen)、China (Chengdu)、香港 (中国)、Singapore、Japan (Tokyo)、Malaysia (Kuala Lumpur)、Indonesia (Jakarta)、Germany (Frankfurt)、US (Silicon Valley)、および US (Virginia) です。

権限

次の表に、データ資産ガバナンスにおける各ロールの権限を示します。

ロール	権限	参照
テナントレベルのデータガバナンス管理者	テナントレベルのデータガバナンス管理者は、グローバルビューの観点からガバナンスレポート、ガバナンス上の問題、チェックイベントを表示し、修正アクションを実行できます。	ユーザーに権限を付与する方法については、「Manage permissions on global-level services」トピックの「Manage tenant member roles」セクションをご参照ください。データガバナンス管理者の権限の詳細については、「Permissions of built-in workspace-level roles」トピックの「Data Governance」セクションをご参照ください。
ワークスペース管理者	ワークスペース管理者は、ワークスペースビューの観点からガバナンスレポートを表示できます。特定のワークスペースのガバナンスレポートを表示するには、そのワークスペースのワークスペース管理者ロールが必要です。	ユーザーに権限を付与する方法については、「Manage permissions on workspace-level services」トピックの「Add a RAM user to a workspace as a member and assign roles to the member」セクションをご参照ください。ガバナンスレポートを表示する方法については、「View data governance results」トピックの「View the governance assessment report」セクションをご参照ください。
ワークスペースレベルのデータガバナンス管理者	ワークスペースレベルのデータガバナンス管理者は、所属するワークスペースのデータガバナンスの内容を表示および管理できます。説明このロールでは、グローバルな視点からリージョン内のすべてのワークスペースにわたるデータガバナンスの状態を表示したり、グローバルレベルでチェック項目を有効化するなどのグローバルなガバナンス操作を管理したりすることはできません。RAM ユーザーにグローバルなガバナンス操作を実行させるには、テナントレベルで Data Governance Administrator ロールを RAM ユーザーに割り当てる必要があります。詳細については、「Data Governance Administrator role at the tenant level」をご参照ください。	ユーザーに権限を付与する方法については、「Manage permissions on workspace-level services」トピックの「Add a RAM user to a workspace as a member and assign roles to the member」セクションをご参照ください。ワークスペースレベルのデータガバナンス管理者ロールでサポートされる機能については、「Permissions of built-in workspace-level roles」トピックの「Data Governance」セクションをご参照ください。
一般ユーザー	一般ユーザーは、データ資産ガバナンスで検出された問題に対処します。一般ユーザーは、個人の視点からチェックイベントとガバナンス上の問題を表示し、修正オペレーションを実行できます。ワークスペースで検出された問題を修正するには、そのワークスペースのメンバーとして追加されている必要があります。説明デフォルトでは、Alibaba Cloud アカウントおよび [AliyunDataWorksFullAccess] ポリシーがアタッチされている RAM ユーザーを除き、テナント内のその他すべてのユーザーは一般ユーザーです。	ユーザーに権限を付与する方法については、「Manage permissions on workspace-level services」トピックの「Add a RAM user to a workspace as a member and assign roles to the member」セクションをご参照ください。

データ資産ガバナンスのすべての機能を使用できるのは、Alibaba Cloud アカウントと、[AliyunDataWorksFullAccess] ポリシーがアタッチされている RAM ユーザーのみです。RAM ユーザーとしてすべての機能を使用するには、必要な権限を申請する必要があります。詳細については、「Prepare a RAM user」トピックの「Grant the permissions to perform operations in DataWorks to a RAM user」セクションをご参照ください。

コンピュートリソース

現在、データ資産ガバナンスでサポートされているコンピュートリソースは、MaxCompute、E-MapReduce (EMR)、Hologres のみです。
説明
- データ資産ガバナンスで Hologres のコンピュートリソースを使用するには、最初に Data Map を使用してメタデータを収集する必要があります。詳細については、「Metadata collection」をご参照ください。
- データ資産ガバナンスで Hologres のコンピュートリソースがサポートされるのは、China (Beijing)、China (Shanghai)、China (Hangzhou)、China (Shenzhen) リージョンのみです。

データガバナンスのロジック

データ資産ガバナンスは、データ開発タスクがコミットおよびデプロイされる前にチェック項目に基づいてチェックイベントを検出し、デプロイ後にガバナンス項目に基づいてガバナンス上の問題を検出します。これにより、データ関連のイベントと問題を包括的に対処できます。タスクがチェックに失敗するとイベントが生成されます。重大なイベントの場合、後続の開発プロセスがブロックされることがあります。データ資産ガバナンスでイベントを表示して対処し、タスクがチェックに合格した後に開発を続行できます。次のフローチャートは、データガバナンスのロジックを示しています。

DataWorks は、標準モードと基本モードのワークスペースを提供します。タスク開発プロセスはワークスペースモードによって異なります。このトピックでは、標準モードのワークスペースを例にタスク開発プロセスを説明します。各モードの開発プロセスの詳細については、「DataStudio (legacy)」をご参照ください。

チェック項目に基づいてチェックを実行します。

チェック項目は、タスクがコミットおよびデプロイされる前に、ルールに照らしてデータを検証します。システムが違反を検出した場合、後続の開発プロセスをブロックするチェックイベントを生成します。問題を解決することで、開発プロセスを想定どおりに進めることができます。
ガバナンス項目に基づいてチェックを実行します。

ガバナンス項目の検出は、デプロイ後のガバナンスメカニズムです。データ資産ガバナンスでは、グローバルビュー、個人ビュー、または ワークスペースビュー の観点から、未解決のガバナンス項目を表示できます。ガバナンス担当者はこの情報を使用して、問題を迅速に発見して解決し、チームのガバナンス目標達成を支援できます。

データガバナンスプロセス

ガバナンスツールを設定します。

ガバナンスプランテンプレートを有効化し、カスタム項目を設定します。

操作

説明

参照

カスタムのチェック項目を設定

テンプレート内のチェック項目がビジネス要件を満たさない場合は、カスタムのチェック項目を設定できます。

登録済みのカスタム拡張機能用のチェック項目を作成します。

DataWorks では、データ資産ガバナンスにおいて、カスタム拡張機能向けのチェック項目を作成することも可能です。このようなチェック項目を作成すると、データ資産ガバナンスはカスタム拡張機能によってトリガーされたチェックイベントを検出できるようになります。
チェック項目を無効化します。

ガバナンスプランテンプレート内のチェック項目がワークスペースに不要な場合は、そのチェック項目を無効化できます。チェック項目を無効化すると、データ資産ガバナンスはそのワークスペースで当該チェックイベントを検出しなくなります。

Configure check items

カスタムのガバナンス項目を設定

ガバナンスプランテンプレート内のガバナンス項目がワークスペースに不要な場合は、ルールを作成して無効化できます。ガバナンス項目を無効化すると、データ資産ガバナンスはそのワークスペースで当該項目に基づくガバナンス上の問題を検出しなくなります。検出されたガバナンス上の問題は、[Governance Issue] タブには表示されません。

説明

無効化できるのは任意のガバナンス項目のみです。必須のガバナンス項目は無効化できず、ガバナンス項目を作成することもできません。

Configure governance items

(任意) ガバナンスユニットを設定します。

ガバナンスユニットを作成することで、複数のワークスペースに対するデータガバナンスを集中的に実施できます。その後、ガバナンスユニット内のワークスペースについて、正常性スコア、ガバナンス上の問題、チェックイベントの集計統計を表示できます。詳細については、「Configure governance units」をご参照ください。
(任意) 問題通知方法を設定します。

検出された問題をシステムメッセージ、メール、DingTalk グループメッセージ、Webhook URL で指定の担当者に通知するには、問題通知方法を設定します。これにより、担当者は問題を迅速に表示して対処できます。詳細については、「Alert settings」をご参照ください。

チェックを開始し、検出されたガバナンス上の問題に対処します。
- データがコミットおよびデプロイされる前に、チェック項目に対する違反がないかをチェックします。
  
  データがコミットおよびデプロイされる前に、DataWorks は設定済みのチェック項目に照らしてデータをチェックします。データがいずれかのチェック項目に違反している場合、チェックイベントが生成されます。その後、これらのイベントを表示して対処できます。詳細については、「Handle check events」をご参照ください。
- タスクデプロイ後にチェックを実行します。
  
  データがコミットおよびデプロイされた後、DataWorks は設定済みのガバナンス項目に基づいてガバナンス上の問題を検出します。その後、これらの問題を表示して対処できます。詳細については、「Handle governance issues」をご参照ください。
- 資産 360 のチェックを実行します。
  
  資産 360 機能を使用して、指定したタスクとテーブルにおけるガバナンス上の問題を検出、表示、対処できます。詳細については、「Asset 360」をご参照ください。
- マテリアライズドビューの自動ガバナンスを実行します。
  
  データ資産ガバナンスは、マテリアライズドビューに対する自動ガバナンスとインテリジェントな推奨をサポートします。これは、多数の類似サブクエリを頻繁に処理するビッグデータのコンピューティングタスク向けの、インテリジェントで自動化されたソリューションです。詳細については、「Materialized views」をご参照ください。
無効な問題が検出された場合は、ホワイトリストに追加するか、関連するタスクまたはテーブルをデプロイ解除できます。詳細については、「Add an issue to a whitelist」および「Graceful undeployment」をご参照ください。
分析の視点を選択します。
- 利用シナリオ：DataWorks は、データ生成、データ利用、データ管理などの複数の視点を提供し、ガバナンスの有効性を分析してデータを効率的にガバナンスするのに役立ちます。
- リソースの合理的な利用：DataWorks は、リソース消費、タスク実行状態、MaxCompute テーブル数とストレージ、リソース使用状況の概要と詳細の統計を提供します。データ開発者と管理者は、これらの統計に基づいてワークスペース全体のリソース使用状況を分析し、リソース配分を最適化できます。詳細については、「Asset analysis」をご参照ください。
ガバナンス結果を表示します。

ガバナンスの問題に対処した後、概要 > [ワークベンチ] ページに移動して、さまざまな視点からガバナンスの結果を表示できます。結果を分析することで、最も問題の多いディメンションとカテゴリを迅速に特定し、解決を推進してガバナンスの目標を達成できます。

データ資産ガバナンスは、正常性評価モデルを使用してガバナンス項目に基づき正常性スコアを算出します。ガバナンスレポートとリーダーボードで正常性スコアを表示し、ガバナンス結果を把握できます。正常性スコアが高いほど、ガバナンスの有効性が高いことを示します。詳細については、「Overview」トピックの「Quantitative assessment: health scores」セクションをご参照ください。

定量評価：正常性スコア

正常性スコアは、データ資産の状態を反映する複合スコアです。システムは、データ生成、配布、管理にわたるユーザー行動、データ特性、タスク特性などのメタデータに対してデータ処理および機械学習の手法を適用し、正常性スコアを算出します。正常性スコアの仕組みは、ストレージ、コンピューティング、R&D、品質、セキュリティの 5 つの主要領域に基づいており、それぞれに対応する 5 つの正常性スコア指標があります。正常性スコアのページには、R&D、ストレージ、コンピューティング、品質、セキュリティの5つの次元のガバナンススコアを示すレーダーチャートが表示されます。また、前月比のトレンド情報も提供されます。

正常性スコアは 0 ～ 100 の範囲です。スコアが高いほどデータ資産が健全であることを示します。これにより、データ生成とビジネス運用を確保しながら、データを安全、効率的かつ高い信頼性で利用できます。データ資産ガバナンスは、組み込みの正常性評価モデルを使用してガバナンスの有効性を定量評価し、全体の正常性スコアと、各ガバナンス次元ごとのスコアを生成します。評価グレードとスコア範囲は次のとおりです。

優秀： [90, 100]
良好： [75, 90)
合格： [60, 75)
要改善： [30, 60)
不良： [0, 30)

用語

[チェック項目]：データ生成ワークフロー中に適用される予防的なガバナンスメカニズムです。タスクの実行やデプロイなどの重要な段階で事前チェックを行い、フルテーブルスキャンやスケジューリング依存関係の欠落などの潜在的な問題を特定します。システムが非準拠の項目を検出すると、チェックイベントを生成し、プロセスを自動的にブロックします。これにより、標準化を徹底し、データ処理を正規化します。
[管理項目]：データガバナンス中に特定される潜在的な問題、または最適化領域を定義します。開発標準、データ品質、セキュリティコンプライアンス、リソース使用率などの領域を対象とします。ガバナンス項目は必須項目と任意項目に分かれます。必須項目はデフォルトで有効化され、変更できません。一方、任意項目は必要に応じて有効化できます。例：「[Task running time is too long]」、「[Continuous error nodes]」、「[No one visits leaf nodes]」など。
[管理項目の問題]：ガバナンス項目のスキャンで検出され、解決が必要な問題です。
[ガバナンスユニット]：1 つ以上のワークスペースで構成されます。ガバナンスユニット内のワークスペースについて、全体の正常性スコア、ガバナンス上の問題、チェックイベントの統計を表示できます。
[ガバナンスプラン]：データ資産ガバナンスは、さまざまなシナリオ向けにガバナンスプランテンプレートを提供します。これらは、特定の期間内に所定の目標を達成するよう設計されています。ガバナンスプランテンプレートを使用すると、関連するガバナンス項目とチェック項目を迅速に特定し、最適化の機会を発見できます。これにより、ガバナンス責任者は有効性を追跡でき、チームは定量評価を通じてガバナンス目標を効率的に達成できます。
[ナレッジベース]：データ資産ガバナンスに組み込まれているチェック項目とガバナンス項目の定義が含まれます。ガバナンス担当者が特定の問題を迅速に特定して理解するのを支援し、効率向上のための参照情報と実践的なガイダンスを提供します。

DataWorks:データ資産ガバナンスの概要

制限事項

データガバナンスのロジック

データガバナンスプロセス

定量評価：正常性スコア

用語

関連ドキュメント