Dataphin では、品質ルールを作成してデータテーブルを検証することで、テーブル品質のモニタリング効率を向上させることができます。このトピックでは、全社データテーブルの品質ルールを設定する方法について説明します。
前提条件
品質ルールを設定する前に、監視対象を追加する必要があります。詳細については、「監視対象の追加」をご参照ください。
権限
スーパー管理者、品質管理者、および[品質ルール] - [管理] 権限を持つカスタムグローバルロールは、品質ルールのスケジューリング、アラート機能、例外アーカイブテーブル、およびスコアリング重みを設定できます。
品質オーナーは、割り当てられた監視対象の下で、品質ルールのスケジューリング、アラート、例外アーカイブテーブル、およびスコアの重みを設定できます。
品質オーナーと一般ユーザーは、全社データテーブルを含むデータソースに対する追加の同期読み取り権限が必要です。この権限をリクエストするには、「データソース権限のリクエスト」をご参照ください。
サポートされる操作はオブジェクトタイプによって異なります。詳細については、「品質ルールの操作権限」をご参照ください。
検証ルールの概要
データテーブルが品質ソフトルールをトリガーすると、Dataphin はアラートを送信し、問題の迅速な検出と修正を支援します。品質強ルールをトリガーすると、Dataphin はテーブルに依存するすべての下流タスクを停止し、ダーティデータが下流に流れるのを防ぎます。Dataphin はアラートも送信し、問題の迅速な検出と解決を可能にします。
トライアル実行と実行の違い
トライアル実行と実行は、その操作と表示される結果が異なります。トライアル実行は、品質ルールの 1 回限りの実行をシミュレートします。これを使用して、ルールが正しく、期待どおりに機能するかをテストできます。トライアル実行の結果は品質レポートには表示されません。実行は、スケジュールされた時刻に品質ルールを実行します。実行結果は品質レポートに表示され、レビューおよび分析が可能です。
品質ルールの設定
Dataphin ホームページの上部のメニューバーで、[管理] ＞ [Data Quality] を選択します。
左側のナビゲーションウィンドウで、[品質ルール] をクリックします。[全社データテーブル] ページで、対象オブジェクトの名前をクリックします。[品質ルールの詳細] ページに移動して、ルールを設定します。
[品質ルールの詳細] ページで、[品質ルールの作成] をクリックします。
[品質ルールの作成] ダイアログボックスで、パラメーターを設定します。
パラメーター
説明
基本情報
ルール名
品質ルールのカスタム名を入力します。最大長：256 文字。
ルール強度
[ソフト ルール] と [ストロング ルール] に対応しています。
[弱いルール]: 「弱いルール」を選択すると、Dataphin は検証が失敗した場合にアラートを送信します。ただし、ダウンストリームのタスクノードはブロックしません。
[強ルール]：[強ルール] を選択した場合、検証が失敗すると Dataphin はアラートを送信します。下流タスクが存在する場合 (例：コードチェックのスケジューリングやタスクトリガーのスケジューリング)、Dataphin はそれらのタスクをブロックしてデータ汚染を防ぎます。下流タスクが存在しない場合 (例：定期的な品質スケジューリング)、Dataphin はアラートのみを送信します。
説明
品質ルールのカスタム説明を入力します。最大長：128 文字。
設定方法
[テンプレートベースの作成]：組み込みのシステムテンプレートまたはカスタムビジネステンプレートを使用して、品質ルールを迅速に作成します。
[システムテンプレート]：組み込みパラメーターは設定可能です。汎用的なルール作成に最適です。
[カスタムテンプレート]：パラメーターは事前設定されています。ビジネスロジックを持つルールに最適です。
[SQL]：SQL を使用して、柔軟でカスタムな品質モニタリングルールを定義します。複雑なシナリオに最適です。
ルールテンプレート
ドロップダウンリストからテンプレートを選択します：[完全性]、[一意性]、[適時性]、[有効性]、[一貫性]、[安定性]、または [カスタム SQL]。
[完全性]：[Null フィールドチェック] と [空文字列フィールドチェック] が含まれます。
[一意性]：[フィールド一意性チェック]、[フィールドグループ数チェック]、[フィールド重複値数チェック] が含まれます。
[適時性]：[時間関数比較]、[単一テーブル時間フィールド比較]、[2 テーブル時間フィールド比較] が含まれます。
[有効性]：[フィールドフォーマットチェック]、[フィールド長チェック]、[フィールド範囲チェック]、[ルックアップテーブル参照チェック]、[データ標準ルックアップテーブル参照チェック] (Data Standard モジュールが必要) が含まれます。
[一貫性]：[単一テーブルフィールド値一貫性チェック]、[単一テーブルフィールド統計値一貫性チェック]、[単一フィールドビジネスロジック一貫性チェック]、[2 テーブルフィールド値一貫性チェック]、[2 テーブルフィールド統計値一貫性チェック]、[2 テーブルフィールドビジネスロジック一貫性チェック]、[クロスソース 2 テーブルフィールド統計値一貫性チェック] が含まれます。
[安定性]：[テーブル安定性チェック]、[テーブル変動性チェック]、[フィールド安定性チェック]、[フィールド変動性チェック] が含まれます。
[カスタム SQL]：[カスタム統計メトリックチェック] と [カスタムデータ詳細チェック] が含まれます。
詳細については、「テンプレートタイプ」をご参照ください。
ルールタイプ
これは選択したテンプレートに依存します。説明とフィルタリングに使用される基本的なプロパティです。
[監視粒度]
[カスタム SQL] を選択した場合にのみ利用可能です。[テーブル全体] を選択するか、監視する [フィールド] を指定します。
[テンプレート設定]
[テンプレート情報]
品質ルールテンプレートを選択すると、設定の詳細が表示されます。これらの設定を変更するには、「品質ルールテンプレート」をご参照ください。
ルール設定
ルール設定
オプションは選択したルールテンプレートによって異なります。詳細については、「データテーブルのパラメーター設定」をご参照ください。
[検証テーブルのデータフィルタリング]：デフォルトでは無効です。有効にすると、検証テーブルのフィルター条件、パーティションフィルター、または標準データフィルターを設定します。これらのフィルターは検証 SQL に直接追加されます。検証テーブルにパーティションフィルタリングが必要な場合は、スケジューリング設定でパーティションフィルター式を設定します。設定後、品質レポートは検証パーティションを最小の表示単位として使用します。
[一貫性/2 テーブルフィールド統計値一貫性チェック] または [一貫性/クロスソース 2 テーブルフィールド統計値一貫性チェック] を選択した場合、[比較テーブルのデータフィルタリング] を有効にできます。有効にすると、比較テーブルのフィルター条件、パーティションフィルター、または標準データフィルターを設定します。これらのフィルターは検証 SQL に直接追加されます。
検証設定
ルール検証
検証後、Dataphin は結果を例外検証設定と比較します。条件が一致する場合、結果は失敗としてマークされます。その後、Dataphin はアラートやその他のフォローアップアクションをトリガーします。
利用可能な例外検証メトリックは、テンプレートと設定によって異なります。AND または OR ロジックを使用して、最大 3 つの条件を組み合わせることができます。
詳細については、「検証設定」をご参照ください。
アーカイブ設定
例外アーカイブ
デフォルトでは無効です。有効にすると、Dataphin は例外データをファイルまたはテーブルにアーカイブします。品質検証後、アーカイブされた例外データをダウンロードして分析できます。
[アーカイブモード] は [例外フィールドのみアーカイブ] と [完全なレコードをアーカイブ] をサポートします。
[例外フィールドのみアーカイブ]：重複排除後、現在の監視対象フィールドのみをアーカイブします。単一のフィールドで例外データを完全に識別できる場合に使用します。
[完全なレコードをアーカイブ]：異常データを含むレコード全体をアーカイブします。異常データを識別するために完全なレコードを調べる必要がある場合に使用します。
注：完全なレコードをアーカイブすると、アーカイブされるデータ量が大幅に増加するため、通常は [例外フィールドのみアーカイブ] を使用することを推奨します。
[アーカイブ場所] は [デフォルトのファイルサーバー] と [例外データ用のアーカイブテーブル] をサポートします。例外アーカイブテーブルが存在しない場合は、[例外アーカイブテーブルの管理] をクリックして作成します。詳細については、「例外アーカイブテーブルの追加」をご参照ください。
[デフォルトのファイルサーバー]：Dataphin のデプロイ時に設定されたシステムファイルサーバーです。[検証レコード] > [検証詳細] ページから例外データを直接ダウンロードするか、デフォルトのファイルサーバーに直接アクセスできます。デフォルトのファイルサーバーでは、Dataphin は検証実行ごとに最大 100 件の例外レコードをアーカイブします。小規模データの検証に最適です。
[例外データ用のアーカイブテーブル]：より多くの例外データを保存したり、異なる検証実行からの例外をグループ化して比較分析したりする場合に使用します。各品質ルールは、実行ごとに最大 10,000 件の例外レコードを保存します。検証レコードページから例外データを迅速にダウンロードできます。または、アーカイブテーブルに直接アクセスし、そのライフサイクルをカスタマイズして柔軟性を高めることもできます。
説明Dataphin は、現在の実行でトリガーされたすべてのルールの例外データをダウンロードします。ダウンロード制限：10,000 レコード。より多くのデータを表示するには、カスタム例外アーカイブテーブルにアーカイブし、直接アクセスしてください。
例外アーカイブテーブルは、特定のフォーマット要件を満たす必要があります。そうでない場合、書き込みエラーが発生する可能性があります。詳細については、「例外アーカイブテーブルの追加」をご参照ください。
ビジネス属性設定
属性情報
ビジネス属性の入力ルールは、品質ルールの属性設定に依存します。例：責任部署のフィールドは、ビッグデータ部、事業部、技術部などの値を持つ列挙 (複数選択) を使用します。そのため、品質ルールを作成する際、この属性はこれらのオプションを持つ複数選択ドロップダウンとして表示されます。
ルールオーナーのフィールドは、カスタムテキスト入力を受け付けます。最大長：256 文字。そのため、品質ルールを作成する際は、最大 256 文字まで入力します。
属性が [範囲] 入力メソッドを使用する場合、次のように設定します：
[範囲]：連続した数値または日付の範囲に使用されます。>、>=、<、または <= から選択します。その他の属性設定オプションについては、「品質ルール属性の作成と管理」をご参照ください。
スケジューリング設定
[スケジューリング方法]
既存のスケジュールを選択します。まだスケジュールが決まっていない場合は、まず品質ルールを作成し、後でスケジューリングを設定します。新しいスケジュールを作成するには、「スケジュールの作成」をご参照ください。
品質スコア設定
[スコアリング方法]
品質チェックステータスとデータ合格率の 2 つのスコアリング方法をサポートします。
[検証ステータス]：最新の成功した検証に基づいてスコアを付けます。合格 = 100 点。不合格 = 0 点。
[データ合格率]：最新の成功した検証における有効なデータの割合に基づいてスコアを付けます。例えば、80% のデータがフォーマット検証に合格した場合、品質スコアは 80 になります。
すべてのルールテンプレートが両方の方法をサポートしているわけではありません。[検証ステータス] のみをサポートするテンプレートには、以下が含まれます：
一意性：フィールドグループ数チェックとフィールド重複値数チェック。
一貫性：単一テーブルフィールド統計値一貫性チェックとクロスソース 2 テーブルフィールド統計値一貫性チェック。
安定性ルールカテゴリ。
カスタム SQL：カスタム統計メトリックチェック。
[品質スコアの重み]
この品質ルールのスコアの重みを設定します。Dataphin はこれを使用して、監視対象の全体的な品質スコアを計算します。1 から 10 までの整数を入力します。
[OK] をクリックして、ルールの設定を完了できます。
[SQL のプレビュー] をクリックして、現在の設定を最後に保存されたバージョンと比較し、SQL への変更を特定します。
説明必須フィールドが未入力の場合、SQL のプレビューは利用できません。
左側には最後に保存された設定の SQL プレビューが表示されます。以前の設定が存在しない場合は空白になります。右側には現在の設定の SQL プレビューが表示されます。
ルール設定リスト
ルール設定リストページで、設定済みのデータテーブルルールを表示、編集、トライアル実行、実行、削除できます。
リージョン | 説明 |
① フィルターと検索エリア | オブジェクト名またはルール名で迅速に検索します。 ルールタイプ、ルールテンプレート、ルール強度、トライアル実行ステータス、またはアクティブステータスでフィルターします。 説明 ビジネス属性が検索可能およびフィルター可能として設定され、有効になっている場合、その属性で検索またはフィルターできます。 |
② リストエリア | ルール設定リストに、オブジェクトタイプ/名前、ルール名/ID、テスト実行ステータス、アクティブステータス、ルールタイプ、ルールテンプレート、ルール強度、スケジュールタイプ、および関連ナレッジベースドキュメント情報を表示します。更新アイコン
|
③ 操作エリア | 表示、クローン、編集、トライアル実行、実行、スケジューリング設定、ナレッジベースドキュメントの関連付け、品質スコア設定、および削除の操作を実行します。
|
④ 一括操作エリア | 一括トライアル実行、実行、スケジューリング設定、有効化、無効化、ビジネス属性の更新、ナレッジベースドキュメントの関連付け、品質スコア設定、ルールのエクスポート、および削除の操作を実行します。
|
をクリックして、ルール設定リストに表示するフィールドを選択します。
アイコン [トライアル実行ログの表示] をクリックします。スケジュールの作成
ルールのスケジューリングを設定する際、既存のスケジュールを使用できます (テーブルごとに最大 20)。
1 つのルールに最大 10 のスケジュールを割り当てることができます。
重複するスケジュールは自動的に削除されます。
検証範囲は検証 SQL のフィルター条件となり、各検証のデータ範囲を制御します。また、下流の品質レポートの基本単位としても機能し、品質レポートは検証範囲を最小の表示単位として使用します。
[品質ルールの詳細] ページで、[スキャン設定] タブをクリックします。次に、[スケジュールの作成] をクリックして [スケジュールの作成] ダイアログボックスを開きます。
[スケジュールの作成] ダイアログボックスで、パラメーターを設定できます。
パラメーター
説明
スケジュール名
カスタムスケジュール名を入力します。最大長：64 文字。
スケジュールタイプ
2 種類のスケジューリングをサポートします：[時間指定スケジューリング] と [固定タスクトリガースケジューリング]。
[定期トリガー]：固定スケジュールで品質チェックを実行します。出力時間が予測可能なデータに最適です。
[繰り返し]：品質ルールの実行はコンピューティングリソースを消費します。多くのルールを一度に同時実行しないでください。本番タスクに影響を与える可能性があります。繰り返しのオプション：[日]、[週]、[月]、[時]、および [分]。
システムタイムゾーン (ユーザーセンターのタイムゾーン) がスケジュールタイムゾーン ([管理センター] > [システム設定] > [基本設定] で設定) と異なる場合、ルールはシステムタイムゾーンで実行されます。
[タスクトリガー]：指定されたタスクの完了後または前に品質ルールを実行します。サポートされるタスクタイプ：Engine SQL、Offline Pipeline、Python、Shell、Virtual、DataX、Spark JAR、Hive MR、および Database SQL Node。変更タスクが固定されているテーブルに最適です。
説明タスクトリガーのスケジュールは、本番環境のタスクのみをサポートします。強ルールを設定し、スケジュールが失敗した場合、オンラインタスクに影響を与える可能性があります。ビジネスニーズに基づいて慎重に進めてください。
[トリガータイミング]：品質チェックを実行するタイミングを選択します。オプション：[すべてのタスクが成功した後にトリガー]、[各タスクが成功した後にトリガー]、および [各タスクが実行される前にトリガー]。
[トリガータスク]：プロジェクト管理者または O&M システムロールは、本番プロジェクトからタスクノードを選択できます。出力名で検索するか、推奨タスクまたはすべてのタスクから選択します。
説明[すべてのタスクが成功した後にトリガー] を選択した場合、同じスケジュール期間を持つトリガータスクを選択してください。これにより、ルールの実行が遅延し、品質レポートの生成が遅れるのを防ぎます。
[スケジュール条件]
デフォルトでは無効です。有効にすると、Dataphin はスケジューリングの前に条件が満たされているかを確認します。条件が満たされている場合にのみスケジューリングが進行します。それ以外の場合、Dataphin はスケジュールをスキップします。
[営業日付]/[実行日]: [定期実行トリガー]（時間指定スケジューリングではサポートされていません）および[タスク実行トリガー]で利用可能です。 [標準カレンダー]または[カスタムカレンダー]を選択します。 カスタムカレンダーを作成するには、パブリックカレンダーの作成およびをご参照ください。
[標準カレンダー] を選択した場合、[月]、[週]、および [日付] から選択します。次の画像をご参照ください：
[カスタムカレンダー] を選択した場合、[日付タイプ] と [タグ] から選択します。次の画像をご参照ください：
[インスタンスタイプ]：[タスクトリガー] で利用可能です。[定期インスタンス]、[データバックフィルインスタンス]、または [1回限りのインスタンス] を選択します。次の画像をご参照ください：
説明少なくとも 1 つの条件を設定してください。条件を追加するには、[+ ルールの追加] をクリックします。
最大：10 のスケジュール条件。
条件間の関係を AND または OR として設定します。
[検証範囲式]
検証範囲式を入力または選択します。例：
ds='${yyyyMMdd}'。組み込みの式を選択して変更することもできます。組み込みの式については、「組み込みパーティションフィルター式」をご参照ください。説明and または or を使用して複数の条件を組み合わせます。例：
province="Zhejiang" and ds<=${yyyyMMdd}.品質ルールでフィルター条件を設定した場合、Dataphin はそれらを検証範囲式に AND ロジックで適用します。両方の条件がデータをフィルターします。
検証範囲式はフルテーブルスキャンをサポートします。
注：フルテーブルスキャンは大量のリソースを消費します。一部のシステムではサポートされていません。代わりにパーティションフィルター式を使用してください。
検証スコープ予算
デフォルトは現在のビジネス日付です。
[OK] をクリックして、スケジュールの設定を完了します。
スケジュール設定リスト
スケジュールを作成した後、スケジュール設定リストで表示、編集、クローン、または削除できます。
リージョン | 説明 |
① フィルターと検索エリア | スケジュール名で迅速に検索します。 [定期トリガー] または [タスクトリガー] でフィルターします。 |
② リストエリア | [スケジュール名]、[スケジュールタイプ]、[最終更新者]、および [最終更新日時] を表示します。 |
③ 操作エリア | スケジュールを編集、クローン、または削除します。
|
アラート設定の構成
異なるルールに異なるアラート方法を割り当てます。例えば、強ルールの失敗には電話アラートを使用し、ソフトルールの失敗には SMS アラートを使用できます。ルールが複数のアラート設定に一致する場合、アラート優先度ポリシーを設定します。
監視対象ごとに最大 20 のアラート設定を作成できます。
[品質ルールの詳細] ページで、[アラート設定] タブをクリックします。次に [アラート設定の作成] をクリックします。[アラート設定の作成] ダイアログボックスが開きます。
[アラート設定の作成] ダイアログボックスで、パラメーターを設定します。
パラメータ
説明
[範囲]
[すべてのルール]、[すべての強力なルール]、[すべての脆弱なルール]、または [カスタム] を選択します。
説明監視対象ごとに、[すべてのルール]、[すべての強力なルール]、[すべての弱いルール] に対してそれぞれ1つのアラートを構成できます。新しいルールは強度に基づいて自動的に一致します。アラートを変更するには、既存の構成を編集します。
カスタム範囲は、現在の監視対象から最大 200 個のルールをサポートします。
[アラート構成名]
監視対象ごとに一意です。最大長：256 文字。
[アラート受信者]
受信者とアラート方法を構成します。少なくとも1つの受信者と1つの方法を選択します。
[アラート受信者]：カスタム、オンコールスケジュール、品質オーナーの3種類のアラート受信者から選択できます。
最大 5 人のカスタム受信者と最大 3 つのオンコールスケジュールをサポートします。
[アラート方法]：電話、メール、ショートメッセージ、DingTalk、Lark、WeCom、またはカスタムチャネルから選択します。これらの方法は、チャネル設定で管理します。
[OK] をクリックして、アラート設定を完了します。
アラート設定リスト
設定後、アラート設定リストでアラートをソート、編集、または削除します。
番号 | 説明 |
① ソートエリア | ルールが複数のアラート設定に一致する場合のアラート優先度を設定します：
|
② リストエリア | アラート設定名、範囲、アラートタイプごとの受信者、および対応するアラート方法を表示します。 [範囲]：カスタムアラートの場合、オブジェクト名とルール名を表示します。ルールが削除された場合、オブジェクト名は利用できません。必要に応じてアラート設定を更新してください。 |
③ 操作エリア | アラートを編集または削除します。
|
アイコンをドラッグするか、[操作] 列のアイコンを使用します。左から右へのアイコン：トップに固定、ボトムに固定。ソート後、[ソート完了] をクリックします。
例外アーカイブテーブルの追加
例外アーカイブテーブルは、品質ルール検証の失敗レコードを保存します。
[品質ルールの詳細] ページで、[アーカイブ] タブをクリックします。次に [+ 例外アーカイブテーブルの追加] をクリックします。[例外アーカイブテーブルの追加] ダイアログボックスが開きます。
[例外アーカイブテーブルの追加] ダイアログボックスで、パラメーターを設定します。
[メソッド] は [テーブルの作成] と [既存テーブルの選択] をサポートします。これらのメソッドは、特別な品質検証フィールドを追加します。アーカイブされた例外データは、元のデータテーブルには書き込まれません。
[テーブルの作成]：カスタムテーブル名を入力します。デフォルト名は current_table_name_exception_data です。テーブルは、アーカイブテーブルと同じプロジェクトまたはセクションに作成されます。有効な文字には、文字、数字、アンダースコア (_)、およびピリオド (.) が含まれます。最大長は 128 文字です。
監視対象テーブルが物理テーブルの場合、アーカイブテーブルは同じプロジェクトに作成されます。
監視対象テーブルが論理ディメンションテーブルまたは論理ファクトテーブルの場合、アーカイブテーブルはデフォルトで同じプロジェクトになります。`projectA.table_name` のように、同じセクション内のプロジェクトを手動で指定できます。
監視対象テーブルが論理集計テーブルの場合、アーカイブテーブル名に同じセクション内のプロジェクトを指定します。そうしないと、Dataphin は監視対象テーブルのセクション内のプロジェクトに作成します。
アーカイブテーブルには、品質モニタリングテーブルのすべてのフィールドと、検証フィールドが含まれている必要があります。スクリプトのフォーマットは次のとおりです：
create table current_table_name_exception_data (dataphin_quality_tenant_id varchar(64) comment 'テナント ID' , dataphin_quality_rule_id varchar(64) comment '品質ルール ID', dataphin_quality_rule_name varchar(256) comment '品質ルール名', dataphin_quality_column_name varchar(1024) comment '検証フィールド名', dataphin_quality_watch_task_id varchar(128) comment '監視対象タスク ID', dataphin_quality_rule_task_id varchar(64) comment 'ルールタスク ID', dataphin_quality_validate_time varchar(64) comment '品質検証時間', dataphin_quality_archive_mode varchar(32) comment '例外アーカイブモード, ONLY_ERROR_FIELD/FULL_RECORD', dataphin_quality_error_data string comment '例外データ', ljba_id bigint comment 'ljba 主キー', ljb_id bigint comment 'ljb 主キー', col_tinyint tinyint comment 'フィールドタイプ TINYINT (小文字)', col_tinyint_02 tinyint comment '2', col_smallint smallint comment 'フィールドタイプ SMALLINT (小文字)', col_smallint_02 smallint comment '4', col_int int comment 'フィールドタイプ INT (小文字)', col_int_02 int comment '6', col_bigint bigint comment 'フィールドタイプ BIGINT (小文字)', col_bigint_02 bigint comment '8', col_float float comment 'フィールドタイプ FLOAT (小文字)', col_float_02 float comment '10', col_double double comment 'フィールドタイプ DOUBLE (小文字)', col_double_02 double comment '11', col_decimal decimal(38,18) comment 'フィールドタイプ DECIMAL(38,18) (小文字)', col_decimal_02 decimal(38,18) comment '12', col_varchar varchar(500) comment 'フィールドタイプ VARCHAR(500) (小文字)', col_varchar_02 varchar(500) comment '13', col_char char(10) comment 'フィールドタイプ CHAR(10) (小文字)', col_char_02 char(10) comment '14', col_string string comment 'フィールドタイプ STRING (小文字)', col_string_02 string comment '15', col_date date comment 'フィールドタイプ DATE (小文字)', col_date_02 date comment '16', col_datetime datetime comment 'フィールドタイプ DATETIME (小文字)', col_datetime_02 datetime comment '17', col_timestmap timestamp comment 'フィールドタイプ TIMESTAMP (小文字)', col_timestmap_02 timestamp comment '18', col_boolean boolean comment 'フィールドタイプ BOOLEAN (小文字)', col_boolean_02 boolean comment '19', col_binary binary comment 'フィールドタイプ BINARY (小文字)', col_binary_02 binary comment '20', col_array array<int> comment 'フィールドタイプ ARRAY<int> (小文字)', col_array_02 array<string> comment '21', col_map map<string,string> comment 'フィールドタイプ MAP<string, string> (小文字)', col_map_02 map<string,int> comment '22', ds string comment '日付パーティション, yyyyMMdd' ) partitioned by (dataphin_quality_validate_date string comment '検証日 (パーティションフィールド)');
[既存テーブルの選択]：同じプロジェクトまたはデータソースからテーブルを選択します。アーカイブテーブルには、品質モニタリングテーブルのすべてのフィールドと検証フィールドが含まれている必要があります。[例外アーカイブテーブルの DDL を表示] をクリックして、CREATE TABLE 文を表示します。スクリプトのフォーマット：
create table current_table_name_exception_data (dataphin_quality_tenant_id varchar(64) comment 'テナント ID' , dataphin_quality_rule_id varchar(64) comment '品質ルール ID', dataphin_quality_rule_name varchar(256) comment '品質ルール名', dataphin_quality_column_name varchar(1024) comment '検証フィールド名', dataphin_quality_watch_task_id varchar(128) comment '監視対象タスク ID', dataphin_quality_rule_task_id varchar(64) comment 'ルールタスク ID', dataphin_quality_validate_time varchar(64) comment '品質検証時間', dataphin_quality_archive_mode varchar(32) comment '例外アーカイブモード, ONLY_ERROR_FIELD/FULL_RECORD', dataphin_quality_error_data string comment '例外データ', ljba_id bigint comment 'ljba 主キー', ljb_id bigint comment 'ljb 主キー', col_tinyint tinyint comment 'フィールドタイプ TINYINT (小文字)', col_tinyint_02 tinyint comment '2', col_smallint smallint comment 'フィールドタイプ SMALLINT (小文字)', col_smallint_02 smallint comment '4', col_int int comment 'フィールドタイプ INT (小文字)', col_int_02 int comment '6', col_bigint bigint comment 'フィールドタイプ BIGINT (小文字)', col_bigint_02 bigint comment '8', col_float float comment 'フィールドタイプ FLOAT (小文字)', col_float_02 float comment '10', col_double double comment 'フィールドタイプ DOUBLE (小文字)', col_double_02 double comment '11', col_decimal decimal(38,18) comment 'フィールドタイプ DECIMAL(38,18) (小文字)', col_decimal_02 decimal(38,18) comment '12', col_varchar varchar(500) comment 'フィールドタイプ VARCHAR(500) (小文字)', col_varchar_02 varchar(500) comment '13', col_char char(10) comment 'フィールドタイプ CHAR(10) (小文字)', col_char_02 char(10) comment '14', col_string string comment 'フィールドタイプ STRING (小文字)', col_string_02 string comment '15', col_date date comment 'フィールドタイプ DATE (小文字)', col_date_02 date comment '16', col_datetime datetime comment 'フィールドタイプ DATETIME (小文字)', col_datetime_02 datetime comment '17', col_timestmap timestamp comment 'フィールドタイプ TIMESTAMP (小文字)', col_timestmap_02 timestamp comment '18', col_boolean boolean comment 'フィールドタイプ BOOLEAN (小文字)', col_boolean_02 boolean comment '19', col_binary binary comment 'フィールドタイプ BINARY (小文字)', col_binary_02 binary comment '20', col_array array<int> comment 'フィールドタイプ ARRAY<int> (小文字)', col_array_02 array<string> comment '21', col_map map<string,string> comment 'フィールドタイプ MAP<string, string> (小文字)', col_map_02 map<string,int> comment '22', ds string comment '日付パーティション, yyyyMMdd' ) partitioned by (dataphin_quality_validate_date string comment '検証日 (パーティションフィールド)');
[OK] をクリックして、例外アーカイブテーブルを追加します。
[作成後にアクティブなアーカイブテーブルとして自動的に設定] を選択すると、品質ルールの作成が簡素化されます。
例外アーカイブテーブルリストの表示
テーブルを追加した後、最初のテーブルがデフォルトでアクティブになります。その名前をクリックすると、スキーマの詳細が表示されます。他のテーブルをアクティブに設定したり、削除したりすることもできます。
[アクティブなアーカイブテーブルとして設定]：テーブルをアクティブに設定します。このテーブルを使用して、この監視対象に関連付けられ、カスタム例外アーカイブテーブルを指定するすべての品質ルールの例外データをアーカイブできます。
[削除]：例外アーカイブテーブルへの参照のみを削除します。テーブル自体はそのまま残ります。必要に応じて後で再追加できます。
品質レポートの表示
[品質レポート] をクリックして、[ルール検証の概要] と [ルール検証の詳細] を表示します。
例外結果、パーティション時間、またはルール名やオブジェクト名のキーワードで検証詳細を迅速にフィルターします。
検証詳細リストで、[操作] 列の
アイコンをクリックして、ルール検証の詳細を表示します。検証詳細リストで、[操作] 列の
アイコンをクリックして、実行ログを表示します。
品質ルール権限管理の設定
[権限管理] をクリックします。[詳細の表示] を設定して、検証レコード、品質ルールの詳細、および品質レポートを表示できるユーザーを指定します。
[詳細の表示]：[すべてのメンバー] または [このオブジェクトの品質管理権限を持つメンバー] を選択します。
[OK] をクリックして、権限管理設定を完了できます。
次のステップ
品質ルールの設定が完了したら、全社データテーブルのルールリストページで表示できます。詳細については、「監視対象リストの表示」または「」をご参照ください。