モデルを本番環境に公開すると、DataWorks のインテリジェントデータモデリング機能がデータ品質監視ルールを自動的に生成します。これにより、生成されたルールを使用して、本番環境の対応するテーブルのデータ品質を強制できます。このトピックでは、テーブルを公開した後にデータ品質ルールを自動的に生成する方法について説明します。
前提条件
テーブルを本番環境に公開済みであること。テーブルの公開に関する詳細については、「論理モデルのマテリアライズ」をご参照ください。
注意事項
テーブルを本番環境に正常に公開すると、DataWorks は、テーブルのフィールド管理設定で構成された次のフィールドに対して、データ品質ルールを自動的に生成できます。
Primary Key または Not Null としてマークされたフィールド。
Lookup Table to Associate が設定されたフィールド。
操作手順
ディメンションテーブルの公開
DataWorks コンソールにログインします。 対象リージョンで、左側のナビゲーションウィンドウのをクリックします。 ドロップダウンリストからワークスペースを選択し、入力 データモデリングをクリックします。
上部のナビゲーションバーで Dimensional Modeling をクリックして、ディメンショナルモデリングページに移動します。データラベリングを設定するテーブルを選択し、テーブル名をダブルクリックして詳細ページを開きます。
Field Management セクションで、テーブルフィールドのプロパティとして Primary Key、Not Null、Field Association を設定します。
をクリックしてテーブルを保存し、
をクリックしてテーブルを新しいモデルバージョンとして送信します。
をクリックしてテーブルを公開します。[公開] ダイアログボックスで、次の設定を行います。Effective Environment：Production と 開発 の両方を選択します。
Automatic Rule Generation Based on Field Standard：Yes を選択します。
他のすべての設定項目はデフォルト値のままにします。設定が完了したら、Publish をクリックしてテーブルモデルを公開します。
品質ルールの表示
入札失格ルールの自動生成
上部のナビゲーションバーで 
[品質ルール] をクリックして、Data Quality Rule ページに移動します。ここでは、自動ラベリングによって自動生成された品質ルールを表示できます。[データラベリング] ページで Generate Data Quality Rule をクリックすると、ワンクリックで対応する品質ルールが自動的に作成されます。ディメンションテーブル testtb に対して [品質ルールの生成] をクリックすると、システムは有効化された 2 つのソフトルールを自動的に作成します。フィールドルール - 一意 - (id) (品質ディメンション：一意性、ルールテンプレート：重複値の数の固定値、監視しきい値：≠ 0.0 の場合は赤色アラート、= 0.0 の場合は緑色アラート) と フィールドルール - Null 非許容 - (id) (品質ディメンション：完全性、ルールテンプレート：Null 値の数の固定値、監視しきい値：≠ 0.0 の場合は赤色アラート、= 0.0 の場合は緑色アラート)。実行エンジンは MAXCOMPUTE、実行環境は PRODUCT、スキーマは default です。
ルール生成の手動設定
[監視の設定] ボタンをクリックして、 に移動します。Create Rule をクリックして新しいルールを作成します。詳細については、「ルールの設定：テーブルごと (単一テーブル)」をご参照ください。
右側に [ルールテンプレートから作成] パネルが表示され、[+ システムテンプレートルール]、[+ カスタムテンプレートルール]、[+ カスタム SQL] の 3 つの作成方法が提供されます。システムは 63 個のテンプレートを提供しており、タイプ別にテーブル行数、条件一致率、テーブルサイズ、Null 値行数、重複値行数、一意の値の数、最小値、最大値、平均値、集計値、列挙値、離散値、カスタム SQL に分類されています。
品質監視の生成
品質ルールを構成した後、ルールリストページに移動します。ID/rule name 列のルール名をクリックして、 タブに移動します。次に、Monitor タブに切り替えて、Create Monitor の構成を実行します。詳細な構成は次のとおりです。
モジュール | 設定項目 | 設定詳細 |
Basic Configurations | Monitor Name | 品質監視ジョブのカスタム名を入力します。 |
Data Range | タイムスタンプ範囲は、監視対象のテーブルタイプに基づいてデフォルトで生成されます。監視対象がパーティションテーブルの場合、Data Range はデフォルトでパーティションベースの範囲になります。特定のパーティションを選択できます。例： | |
Running Settings | Trigger Method | 次のいずれかのオプションを選択します。
|
Associated Scheduling Node (本番スケジューリングトリガー) | [ノードの追加] をクリックした後、品質監視ジョブを作成するワークスペースとノードを選択します。 説明 DataWorks オペレーションセンターで、品質監視ジョブを指定の定期スケジューリングタスクに関連付けます。ノードが実行されると、この監視ジョブ配下の品質ルールが自動的にトリガーされます。 | |
計算リソースの選択 | 品質ルールチェックの実行に必要な計算リソースを選択します。デフォルトでは、現在のワークスペースで監視対象テーブルに関連付けられているデータソースが選択されます。別のデータソースを選択する場合は、選択したリソースがテーブルにアクセスできることを確認してください。 | |
Handling Policies | 課題戦略 | デフォルト設定のままにします。 |
Monitoring Rule | [バッチ選択] をクリックします。表示されるパネルで、ID/rule name、Template、Association Range でフィルタリングして、監視ジョブに含める品質ルールを選択します。 | |
で、設定済みの品質監視ジョブの 最新の実行レコード を表示し、Subscribe to Alerts のサブスクリプション方法と受信者を変更できます。
品質ルールを生成した後に有効化して実行する場合、データ品質ルールの実行には料金が発生することにご注意ください。請求明細については、「Data Quality インスタンスの課金」をご参照ください。
ラベリングルールの変更または削除
データモデリング側からラベリングルールを変更または削除します。
モデリングインターフェイスでフィールドプロパティを変更してラベリングルールを更新します。たとえば、フィールド名の変更、フィールドを Null 非許容から必須ではないに変更、または関連するルックアップテーブルルールの更新などです。
フィールドを追加または削除して、ラベリングルールを変更または削除します。
テーブルモデルを削除して、フォールバックルールを変更または削除します。
テーブルモデルのフィールドを変更または削除した後、
をクリックしてテーブルを再公開してください。