Data Asset Governance は、自動ガバナンスとインテリジェントな推奨に基づいて、マテリアライズドビューをサポートしています。これは、多数の類似したサブクエリを頻繁に処理する必要があるビッグデータコンピューティングタスク向けのインテリジェントで自動化されたソリューションです。マテリアライズドビューを有効にすると、Data Asset Governance は MaxCompute 内の類似のサブクエリを自動的に識別および分類し、マテリアライズドビューを作成するための推奨事項を生成します。数回クリックするだけで、推奨事項に基づいてマテリアライズドビューを作成できます。これにより、計算効率が大幅に向上し、計算リソースが節約されます。
マテリアライズドビューの概要
DataWorks の自動ガバナンスモジュールによって提供されるマテリアライズドビュー機能は、MaxCompute のマテリアライズドビューの推奨および管理機能に依存しています。詳細については、「マテリアライズドビューの推奨と管理」をご参照ください。DataWorks のスケジューリングシナリオでは、この機能は MaxCompute SQL ステートメント内の類似のサブクエリをすばやく識別し、推奨されるビュー生成 SQL ステートメントを提供して、マテリアライズドビューをすばやく作成するのに役立ちます。
DataWorks がマテリアライズドビューを作成すると、ビューデータを生成するノードが同期的に作成され、そのノードが本番環境にデプロイされます。類似のサブクエリを持つノードは、マテリアライズドビュー更新ノードの子孫ノードとして指定されます。DataWorks は、スケジューリングの依存関係に基づいて、マテリアライズドビュー更新ノードを優先的にスケジュールします。子孫ノードがパブリックサブクエリを使用する場合、ノードは、クエリ対象のデータをすでに生成しているマテリアライズドビューからデータをクエリします。これにより、計算頻度が削減されます。
マテリアライズドビューの機能は、次のリージョンで使用できます：中国 (杭州)、中国 (上海)、中国 (深圳)、中国 (北京)、中国 (成都)。
前提条件
MaxCompute データソースが追加されていること。詳細については、「MaxCompute データソースの追加」をご参照ください。
MaxCompute でマテリアライズドビューのインテリジェント分析機能が有効になっていること。詳細については、「マテリアライズドビューの推奨と管理」をご参照ください。
手順
マテリアライズドビューのインテリジェント推奨機能を有効にします。
DataWorks DataStudio に関連付けられている MaxCompute プロジェクトに対してマテリアライズドビューのインテリジェント推奨機能を有効にすると、次の条件が満たされた場合、マテリアライズドビューを作成するための推奨事項が生成され、[マテリアライズドビューの推奨] タブに表示されます。
自動トリガーされたタスクが 3 日以上連続して実行されている。
パブリックサブクエリの入力行数が 1,000,000 を超えている。
パブリックサブクエリに、結合演算子や集計演算子など、データの再編成に関連する演算子が含まれている。
推奨事項を表示し、マテリアライズドビューを作成します。
推奨事項が適切かどうかを確認し、マテリアライズドビュー作成ガバナンスを実行できます。
マテリアライズドビューを作成するときに、[マテリアライズドビュー更新ノードの作成] セクションと [マテリアライズドビュー更新ノードを祖先ノードとして追加] セクションのパラメーターを設定すると、マテリアライズドビューは DataWorks スケジューリングシナリオで有効になります。
マテリアライズドビュー更新ノードは、類似の計算ロジックを持つノードの祖先ノードとして自動的に追加されます。祖先ノードまたはソーステーブルを生成するノードが新しい出力を生成すると、マテリアライズドビューが更新され、子孫ノードの最新のデータが生成されます。
マテリアライズドビューを管理します。
現在のワークスペースで推奨事項に基づいて作成されたマテリアライズドビューの使用状況を表示し、出力データが要件を満たしていないマテリアライズドビューを分析または削除できます。
手順
手順 1：マテリアライズドビューのインテリジェント推奨機能を有効または無効にする
ワークスペース管理者ロールが割り当てられているユーザーのみが、マテリアライズドビューのインテリジェント推奨機能を有効または無効にできます。
Data Asset Governance ページに移動します。
DataWorks コンソール にログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションペインで、 を選択します。表示されるページで、[データアセットガバナンスに移動] をクリックします。
左側のナビゲーションペインで、 を選択します。
[MV] ページで、[ワークスペース] ドロップダウンリストからワークスペースを選択し、[マテリアライズドビュー推奨の設定] をクリックします。[マテリアライズドビュー推奨の設定] ダイアログボックスで、マテリアライズドビューのインテリジェント推奨を有効にするプロジェクトの [インテリジェントマテリアライズドビュー推奨] 列のスイッチをオンにします。
手順 2：マテリアライズドビューの推奨事項を表示する
マテリアライズドビューのインテリジェント推奨モジュールは、作成可能なマテリアライズドビューと関連する計算タスクを自動的に識別できます。関連する所有者は、マテリアライズドビューが適切かどうかを判断し、マテリアライズドビュー作成ガバナンスを実行できます。
推奨の精度を向上させるため、マテリアライズドビューのインテリジェント推奨を有効にした後、次の条件が満たされた場合にのみ、関連する推奨事項が [マテリアライズドビューの推奨] タブに生成および表示されます。
自動トリガーされたタスクが 3 日以上連続して実行されている。
パブリックサブクエリの入力行数が 1,000,000 を超えている。
パブリックサブクエリに、結合演算子や集計演算子など、データの再編成に関連する演算子が含まれている。
上部のナビゲーションバーの [ワークスペース] ドロップダウンリストからワークスペースを選択し、[マテリアライズドビューの推奨] タブをクリックします。
[プロジェクト] や [分析期間] などのフィルター条件を変更して、マテリアライズドビューを作成するための推奨事項が生成されているかどうかを確認します。
[分析期間] パラメーターで指定された期間内にマテリアライズドビューを作成するための推奨事項が利用可能な場合は、推奨事項を表示できます。
パラメーター：
[マテリアライズドビューの推奨]：マテリアライズドビュー推奨タスクの識別子。識別子には、パブリックサブクエリに関する要約情報が含まれています。識別子は、
Aggregate: xx; Inputs: xx, xx;形式です。Aggregate：推奨されるパブリックサブクエリに集計操作が含まれているかどうかを示します。
Inputs：パブリックサブクエリで使用されるすべてのソーステーブルの名前を一覧表示します。
[影響を受ける可能性のある SQL ステートメントの数]：パブリックサブクエリを使用するジョブの数。
[影響を受ける可能性のあるノード]：パブリックサブクエリを使用するスケジューリングノードの数。
[推奨レーティング]：推奨の程度。サブクエリの繰り返し、サブクエリの複雑さ、入力データレコードの数によって決まります。
[マテリアライズドビューの推奨] 列のマテリアライズドビュー推奨タスクの識別子をクリックして、パブリックサブクエリの詳細を表示します。詳細には、[ソーステーブル情報]、[パブリックサブクエリ]、[ジョブ]、[スケジューリングタスク] が含まれます。
手順 3：マテリアライズドビューを作成する
[マテリアライズドビューの推奨] タブで、ビジネス要件と推奨事項の詳細に基づいて、マテリアライズドビューを作成するかどうかを決定します。マテリアライズドビューを作成するには、マテリアライズドビューを作成する基になる推奨事項を見つけ、[アクション] 列の [マテリアライズドビューの作成] をクリックします。
[マテリアライズドビューの作成] ページで、マテリアライズドビューのパラメーターを設定します。
[マテリアライズドビューの作成] セクションで、マテリアライズドビュー更新ノードを作成し、入力タスクのパブリックサブクエリに基づいてマテリアライズドビューを生成します。
パラメーター
説明
入力テーブル
入力テーブル。自動的に取得されます。入力テーブルを変更する必要はありません。
マテリアライズドビューを作成するかどうか
初めてマテリアライズドビューを作成する場合は、デフォルト値の [マテリアライズドビューを作成] が使用されます。値を変更する必要はありません。
説明同じ入力テーブルが選択されているマテリアライズドビューがすでに存在する場合は、パラメーターを [既存のマテリアライズドビューを選択] に設定できます。
マテリアライズドビュー名
マテリアライズドビューの名前。ビジネス要件に基づいて名前を指定できます。
ライフサイクル
マテリアライズドビューのライフサイクル。有効な値：[1 日]、[7 日]、[カスタム日数]。
更新タイプ
マテリアライズドビューの更新モード。
[一定間隔で更新]
データを読み取るテーブルが DataWorks のタスクの出力である場合、デフォルトで [時間管理 Cron モード] が選択されます。それ以外の場合は、[一定間隔で更新] が選択されます。
[時間管理 Cron モード]
マテリアライズドビューは、データを読み取る祖先テーブルを生成するノードの最新の出力時刻に更新されます。
[更新しない]
プレビューステートメント
マテリアライズドビューの SQL ステートメント。
オプション。 [マテリアライズドビュー更新ノードの作成] セクションで、マテリアライズドビュー更新ノードを作成します。ソーステーブルを生成するノードが新しい出力を生成すると、マテリアライズドビュー更新ノードはマテリアライズドビューを動的に更新して最新のデータをマテリアライズします。
[マテリアライズドビュー更新ノード名] パラメーターと [ノード実行タイムアウト期間] パラメーターを設定します。
オプション。 [マテリアライズドビュー更新ノードを祖先ノードとして追加] セクションで、増分データのクエリヒット率を高めるために、類似の計算ロジックを持つノードの祖先ノードとしてマテリアライズドビュー更新ノードを追加します。
このセクションに表示される計算タスクには、現在のワークスペースのタスクと他のワークスペースのタスクが含まれます。 [詳細の表示] をクリックして、計算タスクの詳細を表示できます。
[作成して実行] をクリックします。DataWorks はマテリアライズドビューの作成を開始します。 [マテリアライズドビューの推奨] タブの [操作ステータス] 列でマテリアライズドビューのステータスを表示するか、[アクション] 列の [詳細の表示] をクリックして進捗状況を表示できます。
[操作ステータス] パラメーターの有効な値：
作成予定：マテリアライズドビューは DataWorks を使用して作成されていません。
作成済み：マテリアライズドビューが作成されています。
作成中：DataWorks を使用したマテリアライズドビューの作成プロセスが開始されましたが、作成はまだ完了していません。
作成失敗：DataWorks を使用したマテリアライズドビューの作成プロセスが開始されましたが、作成に失敗しました。
[詳細の表示] をクリックして、マテリアライズドビュー作成プロセスの詳細を表示できます。
マテリアライズドビューを作成するときに、[マテリアライズドビュー更新ノードの作成] セクションと [マテリアライズドビュー更新ノードを祖先ノードとして追加] セクションのパラメーターを設定すると、マテリアライズドビュー更新ノードが類似の計算ロジックを持つノードの祖先ノードとして追加されます。マテリアライズドビュー更新ノードの所有者は、マテリアライズドビューの作成に使用されたアカウントです。
手順 4：マテリアライズドビューを管理する
現在のワークスペースでマテリアライズドビューの使用状況を表示し、出力データが要件を満たしていないマテリアライズドビューを分析または削除できます。
上部のナビゲーションバーの [ワークスペース] ドロップダウンリストからワークスペースを選択し、[マテリアライズドビューの管理] タブをクリックします。
[プロジェクト] などのフィルター条件を指定して、推奨事項に基づいて作成されたマテリアライズドビューを表示します。
重要MaxCompute プロジェクトのクォータが従量課金制を使用している場合、節約された合計計算容量は次の式を使用して計算されます。
入力データ量 × SQL の複雑さ。 MaxCompute SQL ジョブの料金は、次の式を使用して計算されます。計算容量 × 単価。 詳細については、「Computing pricing」をご参照ください。[MV] 列のマテリアライズドビューの名前をクリックして、マテリアライズドビューの詳細を表示します。
管理するマテリアライズドビューを見つけ、[アクション] 列の [削除] をクリックして、マテリアライズドビューを削除します。