Dataphin を使用すると、データテーブルの品質ルールを作成して、データ品質を検証し、テーブルをより効果的に監視できます。このトピックでは、Dataphin テーブルの品質ルールを構成する方法について説明します。
前提条件
品質ルールを構成する前に、監視対象を追加する必要があります。手順については、「監視対象の追加」または「」をご参照ください。
権限
スーパー管理者、品質管理者、[品質ルール] [管理] 権限を持つカスタムグローバルロール、およびテーブルが存在するプロジェクトに対して[プロジェクト品質管理] [品質ルール管理] 権限を持つカスタムプロジェクトロールは、品質ルールのスケジューリング、アラート機能、例外アーカイブテーブル、およびスコアリング重みを設定できます。
品質所有者は、所有する監視対象の品質ルールのスケジューリング、アラート、例外アーカイブテーブル、およびスコアリング重みを構成できます。
品質オーナーおよび一般ユーザは、Dataphin テーブルに対する読み取り権限を必要とします。これらの権限をリクエストするには、「テーブル権限のリクエスト、更新、または解放」をご参照ください。
サポートされる操作はオブジェクトタイプによって異なります。 詳細については、「品質ルールの操作権限」をご参照ください。
品質ルール構成手順
品質ルールは、[カスタム構成] および [標準から] の 2 つの構成方法をサポートしています（この方法では、データ標準モジュールを有効化する必要があります）。
カスタム設定は、組み込みまたはカスタムの品質ルールテンプレートを使用して迅速にルールを作成し、柔軟なモニタリング要件を満たすためにカスタム SQL をサポートします。
[標準から] は、現在のアセットにマッピングされているデータ標準で設定済みの品質ルールを参照して、標準の制約をより効果的に適用します。
検証ルールリファレンス
品質ルールが [ソフトルール] をトリガーすると、Dataphin はアラートを送信し、問題を迅速に検出して修正できます。[強制ルール] をトリガーすると、Dataphin はテーブルへの書き込みタスクを停止し、ダーティデータがダウンストリームに流れるのを防ぎます。Dataphin はアラートも送信し、問題を迅速に検出して修正できます。
試行実行と実行の違い
試行実行と実行は、実行方法と結果表示が異なります。[試行実行] は、品質ルールの一回実行をシミュレートして、その正確性と動作をテストします。試行実行の結果は品質レポートには表示されません。[実行] は、スケジュール時刻に品質ルールをチェックします。実行結果は品質レポートに表示されるため、表示および分析できます。
品質ルールの構成
Dataphin で、メニューバーの [ガバナンス] ＞ [Data Quality] をクリックします。
左側のナビゲーションウィンドウで、[品質ルール] をクリックします。[Dataphin テーブル] ページで、対象オブジェクトの名前をクリックして、[品質ルールの詳細] ページを開きます。ここで品質ルールを設定します。
カスタム設定
データテーブル上の [Create Quality Rule] にマウスを上に移動して、[Custom Configuration] を選択します。または、[Create Quality Rule] をクリックして、[Create Quality Rule] ダイアログボックスを開きます。
[品質ルールの作成] ダイアログボックスで、パラメーターを設定します。
[パラメーター]
[説明]
基本情報
ルール名
品質ルールの名前です。最大 256 文字。
ルールの強度
[ソフト ルール] と [ストロング ルール] に対応しています。
[弱いルール]: 「弱いルール」を選択すると、検証に失敗した場合に Dataphin からアラートが送信されますが、ダウンストリームのタスクノードはブロックされません。
強ルール: [強ルール] を選択した場合、検証に失敗すると Dataphin はアラートを送信します。また、(コードチェックのスケジューリングやタスクによってトリガーされるスケジューリングなどの) 下流タスクが存在する場合、それらもブロックします。これにより、ダーティデータの拡散を防ぎます。下流タスクが存在しない場合 (定期的な品質スケジューリングなど)、Dataphin はアラートの送信のみ行います。
説明
品質ルールの説明です。最大 128 文字。
設定方法
[テンプレート作成]: よく使われるシステムテンプレートまたはカスタムビジネステンプレートを使用して、品質ルールを迅速に作成できます。
システムテンプレート：組み込みパラメーターは設定可能です。一般的なルールの作成に最適です。
[カスタムテンプレート]: 事前定義されたパラメーターは設定不要です。ビジネスロジックを含むルールに最適です。
SQL: SQL を使用して柔軟な品質モニタリングルールを定義します。複雑なシナリオに最適です。
ルールテンプレート
ドロップダウンリストからルール テンプレートを選択します: [完全性]、[一意性]、[適時性]、[有効性]、[一貫性]、[安定性]、または [SQL]。
完全性：[Null 値検証] と [空文字列検証] を含みます。
[一意性]: [一意性検証]、[フィールド グループ数検証]、および[重複値数検証]を含みます。
適時性：式による時間比較、時間間隔の比較、および2 つのテーブル間の時間間隔の比較が含まれます。
有効性: 列形式の検証、列長の検証、列値ドメインの検証、参照テーブルの検証、および標準参照テーブルの検証（Data Standard モジュールが必要）を含みます。
一貫性：[列の値の一貫性検証]、[列の統計的な一貫性検証]、[単一フィールドのビジネスロジックの一貫性チェック]、[2 つのテーブルの列の値の一貫性検証]、[2 つのテーブルの列の統計的な一貫性検証]、[2 つのテーブルの列の処理ロジックの一貫性検証]、および [クロスソースの列の統計的な一貫性検証] を含みます。
[安定性]: [テーブル安定性検証]、[テーブル変動性検証]、[列安定性検証]、および[列変動性検証]を含みます。
SQL: カスタム統計検証 および カスタム詳細値検証 を含みます。
詳細については、「テンプレートタイプ」をご参照ください。
ルールタイプ
ルールタイプはテンプレートによって異なります。これはテンプレートの基本プロパティであり、説明とフィルタリングに使用できます。
監視粒度
このオプションは、[カスタム SQL] を選択した場合にのみ表示されます。[テーブル全体] を選択するか、特定の [フィールド] を指定して監視します。
テンプレート設定
テンプレート情報
このセクションには、選択したテンプレートの構成情報が表示されます。この情報を変更するには、[クオリティルールテンプレート]に移動します。
ルール構成
ルール設定
ルール構成は、選択したテンプレートに基づいて変化します。詳細については、「テーブルパラメーター構成」をご参照ください。「」をご参照ください。
特別な構成には以下が含まれます。
検証テーブルのデータフィルタリング: デフォルトではオフです。有効にすると、検証テーブルにフィルター条件、パーティションフィルター、または一般的なデータフィルターを設定できます。これらのフィルターは、検証 SQL に直接追加されます。検証テーブルでパーティションフィルタリングが必要な場合は、スケジューリング構成でパーティションフィルター式を設定することをお勧めします。設定後、品質レポートにはパーティションレベルでデータが表示されます。
一貫性/2 テーブルフィールド統計値一貫性チェック または 一貫性/クロスソース 2 テーブルフィールド統計値一貫性チェック テンプレートを選択すると、[比較テーブルデータフィルタリング] を有効にできます。有効にすると、比較テーブルに対してフィルター条件、パーティションフィルター、または一般データフィルターを設定できます。これらのフィルターは、検証 SQL に直接追加されます。
検証構成
ルールの検証
品質ルール検証後、Dataphin は結果を例外検証設定と比較します。結果が基準を満たしている場合、検証は失敗します。その後、Dataphin はアラートおよびその他のフォローアップアクションをトリガーします。
例外検証で利用可能なメトリックは、テンプレートと構成によって異なります。AND/OR 条件を使用できます。3つ未満の条件を使用することを推奨します。
詳細については、「検証設定」をご参照ください。
アーカイブ設定
異常アーカイブ
デフォルト設定は[オフ]です。有効にすると、異常データをファイルまたはテーブルにアーカイブできます。品質検証後、アーカイブされた異常データをダウンロードして分析できます。
[アーカイブモード] は、[例外フィールドのみアーカイブ] および [完全レコードをアーカイブ] をサポートしています。
アーカイブ例外フィールドのみ: 監視対象フィールドのみをアーカイブします。単一のフィールドが例外データを完全に識別する場合にこれを使用します。
完全なレコードのアーカイブ: 例外データを含む完全なレコードをアーカイブします。例外データを特定するために完全なレコードが必要な場合に使用します。
説明完全レコードをアーカイブすると、データ量が大幅に増加します。ほとんどの場合、[例外フィールドのみアーカイブ] を使用することを推奨します。
[アーカイブ先] は [デフォルトのファイルサーバー] と [例外データ用のアーカイブテーブル] をサポートしています。 例外アーカイブテーブルを作成していない場合は、[例外アーカイブテーブルの管理] をクリックして作成します。 詳細については、「例外アーカイブテーブルの追加」をご参照ください。
デフォルトファイルサーバ: Dataphin がデプロイされたときに設定されたシステムファイルサーバです。[検証レコード]-[検証詳細] ページから例外データを直接ダウンロードするか、デフォルトファイルサーバに直接アクセスできます。デフォルトファイルサーバを使用する場合、Dataphin は検証ごとに最大 100 件の例外レコードをアーカイブします。これは small データの検証に最適です。
[例外データ用アーカイブテーブル]: さらに多くの例外データを保存したり、分析のために異なる検証から得られた例外データをグループ化したりする場合は、カスタム アーカイブテーブルを作成します。各品質ルールは、実行ごとに最大 10,000 件の例外レコードを保存できます。検証レコードページから例外データをすばやくダウンロードできます。または、アーカイブテーブルに直接アクセスして、そのライフサイクルを管理できます。これにより、より高い柔軟性が得られます。
説明Dataphin は、この実行のすべてのルールからすべての例外データをダウンロードします。ダウンロードサイズは 10,000 レコードに制限されます。より多くのデータを表示するには、カスタム例外アーカイブテーブルにアーカイブして直接アクセスします。
例外アーカイブテーブルは、特定のフォーマット要件を満たす必要があります。これを満たさないと、書き込みエラーが発生する可能性があります。詳細については、「例外アーカイブテーブルの追加」をご参照ください。
ビジネス属性構成
属性情報
ビジネス属性入力ルールは、品質ルール属性構成に依存します。たとえば、担当部署のフィールドは列挙 (複数選択) タイプを使用します。有効な値には、ビッグデータ部門、ビジネス部門、およびテクノロジー部門が含まれます。したがって、品質ルールを作成するとき、このフィールドは複数選択ドロップダウンとして表示されます。有効な値は、ビッグデータ部門、ビジネス部門、およびテクノロジー部門です。
ルール所有者のフィールドはカスタム入力を使用します。最大長は 256 文字です。したがって、品質ルールを作成するとき、最大 256 文字を入力できます。
属性フィールドが [範囲] 入力メソッドを使用する場合、次のように構成します。
範囲: 有効な値が連続した数値または日付の場合に使用します。 [>]、[>=]、[<]、または [<=] から選択します。 属性設定オプションの詳細については、「品質ルール属性の作成と管理」をご参照ください。
スケジューリング属性構成
スケジューリング方法
既存のスケジュールを選択します。スケジューリング方法をまだ決定していない場合は、まず品質ルールを作成し、後でスケジューリングを設定してください。新しいスケジュールを作成するには、「スケジュールの作成」をご参照ください。
品質スコア構成
スコアリング方法
品質検証ステータスとデータコンプライアンス比率のいずれかを選択します。
[品質検証ステータス]：最新の成功した検証の検証ステータスに基づいてスコアを付けます。合格 = 100 ポイント。失敗 = 0 ポイント。
[データコンプライアンス比率]：最新の成功した検証における正常データの比率をスコアとして使用します。たとえば、データフォーマットの有効性が 80% の場合、品質スコアは 80 です。
すべてのルールテンプレートが両方のスコアリング方法をサポートしているわけではありません。[品質検証ステータス] のみをサポートするテンプレートは次のとおりです。
一意性ルール下のフィールドグループ数検証とフィールド重複値数検証。
一貫性ルール下の単一テーブルフィールド統計値一貫性チェックとクロスソース2テーブルフィールド統計値一貫性チェック。
すべての安定性ルール。
カスタム SQL ルール下のカスタム統計メトリック検証。
品質スコアの重み
監視対象の品質スコアを計算する際の品質ルールの重みです。1 から 10 までの整数を選択します。
[OK] をクリックして、カスタムルール構成を完了します。
[SQL プレビュー] をクリックして、現在の構成を前回保存した構成と比較します。これにより、SQL の変更内容を確認できます。
説明必須フィールドが不完全な場合、SQL プレビューは利用できません。
左側には最後に保存された構成の SQL プレビューが表示されます。存在しない場合、空白です。右側には現在の構成の SQL プレビューが表示されます。
参照データ標準のモニタリング
データテーブル上で 品質ルールの作成 にカーソルを合わせ、標準から作成 を選択します。
標準から作成 ダイアログボックスで、リファレンス対象のデータ標準ルールを選択します。有効性 (Validity)、一意性 (Uniqueness)、完全性 (Completeness)、安定性 (Stability) のいずれかでフィルターを適用するか、オブジェクト名で検索します。
参照データ標準ルールのダイアログボックスでは、ルール名を変更したり、アクティブ状態を切り替えたりできます。関連付けられた標準の横にあるアイコンをクリックすると、標準の詳細をご確認いただけます。また、[操作] 列の
アイコンをクリックすると、品質ルールの内容をご確認いただけます。説明リファレンス登録後は、ルールの詳細を編集できません。スケジューリングの設定およびルールの強度の変更は可能です。
選択したルールを追加 をクリックして、データ標準ルールのリファレンス登録を完了します。
ルール設定一覧
品質ルールを作成すると、ルール構成リストでそのルールを表示、編集、試行、実行、または削除できます。
リージョン | 説明 |
① フィルターおよび検索エリア | オブジェクト名またはルール名で素早く検索できます。 ルールタイプ、ルールテンプレート、ルール強度、トライアル実行ステータス、有効ステータス、またはルールソースでフィルターをかけられます。 説明 ビジネス属性が検索可能およびフィルター可能として設定され、かつ有効化されている場合、その属性で検索またはフィルターを行うことができます。 |
② リストエリア | ルール構成リストには、「オブジェクトタイプ／名称」「ルール名／ID」「トライアル実行ステータス」「有効ステータス」「ルールタイプ」「ルールテンプレート」「ルール強度」「スケジュールタイプ」「関連ナレッジベースドキュメント」が表示されます。更新ボタンの左側にある
|
③ 操作エリア | 表示、クローン作成、編集、トライアル実行、実行、スケジュール構成、ナレッジベースドキュメントの関連付け、品質スコア構成、削除などの操作を実行できます。
|
④ 一括操作エリア | トライアル実行、実行、スケジュール構成、有効化、無効化、ビジネス属性の更新、ナレッジベースドキュメントの関連付け、品質スコア構成、ルールのエクスポート、削除などの一括操作を実行できます。
|
アイコンをクリックすると、リストに表示する項目を選択できます。
アイコンをクリックして、標準の詳細情報を確認できます。
アイコンが表示されます。
アイコンをクリックし、トライアル実行ログの表示 を選択します。スケジュールの作成
ルールのスケジューリングを構成する場合、既存のスケジュール (テーブルごとに最大 20) から迅速に選択できます。
単一のルールに最大 10 のスケジュールを構成できます。
同一のスケジュールは自動的に重複排除されます。
現在のテーブルが Hologres パーティションテーブルである場合、固定タスクトリガースケジューリングを使用します。
検証範囲は品質検証ステートメントのフィルター条件になります。各検証の範囲を制御し、ダウンストリーム品質レポートの基本単位として機能します。品質レポートは検証範囲レベルでデータを表示します。
「品質ルールの詳細」ページで、「スケジュール設定」タブをクリックします。次に、「スケジュールの作成」をクリックして、「スケジュールの作成」ダイアログボックスを開きます。
[スケジュールの作成] ダイアログボックスで、パラメーターを設定します。
[パラメーター]
[説明]
スケジュール名
カスタムスケジュール名です。最大 64 文字。
スケジュールタイプ
「[Recurrency Triggered]」、「[Data Update Triggered]」、または「[Task Triggered]」のいずれかを選択します。
定期的トリガー: スケジュール時刻に品質チェックを実行します。出力時間が固定されているデータに最適です。
繰り返し: 品質ルールの実行では計算リソースを使用します。一度に多くのルールを同時に実行すると、本番タスクに影響を及ぼす可能性があるため、避けてください。繰り返しタイプには、[日]、[週]、[月]、[時間]、および[分]が含まれます。
ルールはシステムタイムゾーン (ユーザーセンタータイムゾーン) で実行されます。両方のゾーンが一致しない限り、スケジューリングタイムゾーン ([管理センター] > [システム設定] > [基本設定] で設定) は使用されません。
推奨時間を入力: 「推奨時間を入力」をクリックします。Dataphin は、現在のテーブルの出力タスクの平均完了時間に基づいて時間を推奨します。
[データ更新がトリガーされた]: 各コードタスクの実行が、現在のテーブルの検証範囲を更新するかどうかを解析します。不規則な変更タスクまたは重大なモニタリング要件があるテーブルに最適です。
説明タスクによって更新されたパーティションを選択することを推奨します (非パーティション化テーブルはテーブル全体を検証します)。Dataphin は検証のためにすべてのデータ変更を自動検出します。これにより、変更を見逃すのを避けることができます。
タスクトリガー: 指定されたタスクの完了後または完了前に品質ルールを実行します。サポートされているタスクタイプには、Engine SQL、オフラインパイプライン、Python、Shell、Virtual、DataX、Spark_jar、Hive_MR、およびデータベース SQL ノードが含まれます。変更タスクが固定されているテーブルに最適です。
説明固定タスクトリガースケジューリングは本番環境タスクのみをサポートします。強制ルールを設定し、スケジューリングタスクが失敗した場合、本番タスクに影響する可能性があります。ビジネスニーズに基づいて慎重に進めてください。
[トリガーのタイミング]: 品質チェックを実行するタイミングを選択します。オプションには、[すべてのタスクが成功した後にトリガー]、[各タスクが成功した後にトリガー]、および[各タスクの実行前にトリガー]があります。
タスクのトリガー：プロジェクト管理者または O&M システムロールは、本番プロジェクトからタスクノードを選択できます。 ノードの出力名で検索するか、推奨タスクまたはすべてのタスクから選択します。
推奨タスク: 現在のテーブルが出力テーブルであるリネージタスクを表示します。また、ノード出力名が、モジュール名またはプロジェクト名にテーブル名を加えたものと等しいタスクも表示します。これは、[アセットカタログ - アセット詳細 - 出力情報] の範囲と一致します。
すべてのタスク: 現在のユーザーがO&M権限を持つすべての本番タスクを表示します。
説明[すべてのタスクが成功した後にトリガー] を選択した場合、同じスケジューリングサイクルを持つタスクを選択します。異なるサイクルはルール実行と品質レポート生成を遅らせる可能性があります。
[各タスクが実行される前にトリガー] を選択した場合、推奨タスクは現在のテーブルが入力であるリネージタスクを表示します。
スケジュール条件
デフォルトでオフです。有効にすると、Dataphin はスケジューリング前に条件が満たされているかチェックします。条件が満たされている場合にのみスケジューリングが発生します。そうでない場合、Dataphin はこのスケジュールをスキップします。
[営業日付]/[実行日]: [定期実行トリガー]（時間指定スケジューリングではサポートされていません）、[データ更新トリガー]、および[タスク実行トリガー]で使用できます。 [標準カレンダー] または [カスタムカレンダー] を選択します。 カスタムカレンダーの設定については、「パブリックカレンダーの作成」をご参照ください。
[標準カレンダー] を選択した場合、オプションには [月]、[週]、[日付] が含まれます。下のイメージをご参照ください。
「[カスタムカレンダー]」を選択すると、「[日付タイプ]」と「[タグ]」のオプションが表示されます。以下の画像をご参照ください。
インスタンスタイプ：[データ更新トリガー] と [タスクトリガー] で使用可能です。[定期インスタンス]、[データバックフィルインスタンス]、または [ワンタイムインスタンス] を選択します。以下の図をご参照ください。
説明少なくとも 1 つのルールを設定してください。ルールを追加するには、[+ ルールを追加] をクリックします。
最大 10 のスケジュール条件を構成します。
スケジュール条件間の関係を AND または OR として設定します。
[検証範囲]
[時間指定スケジューリング] または [固定タスクトリガースケジューリング] の場合、[カスタム検証範囲] を指定できます。[データ更新トリガースケジューリング] の場合、[ジョブによって更新されたパーティション] を指定できます。
検証範囲をカスタマイズします。
更新されたパーティション: 検証タスクがパーティションを更新すると、Dataphin はそのパーティションをタスクに使用します。
説明動的パーティションシナリオでは、Dataphin はパーティションの解析に失敗する可能性があります。品質検証は行われません。
変動性検証ルール (例: パーティションサイズ、行数、フィールド統計) は明示的なパーティションを必要とします。これらはタスク更新パーティション検証範囲をサポートしません。
データ更新が発生した場合、非パーティション化テーブルはテーブル全体を検証します。
[カスタム検証範囲]：Dataphin がパーティションを解析できないシナリオでこれを使用します。ビジネス日付または実行日付式を使用して検証範囲を指定します。
検証範囲の式: 編集可能なテキスト付きのドロップダウンです。
ds='${yyyyMMdd}'のように範囲を直接入力します。または、組み込みの式を選択して変更することもできます。組み込みの式については、「組み込みパーティションフィルター式」をご参照ください。説明and または or を使用して複数の条件を結合します。例:
province="Zhejiang" and ds<=${yyyyMMdd}.品質ルールでフィルター条件を構成した場合、それらは AND を使用して検証範囲式と結合されます。検証中に両方の条件が適用されます。
検証範囲式は全表スキャンをサポートします。
注：全表スキャンは大量のリソースを消費します。一部のシステムはそれらをサポートしません。全表スキャンを避けるためにパーティションフィルター式を使用することを推奨します。
検証範囲予算: デフォルトは今日の営業日です。
[OK] をクリックしてスケジュールの構成を完了します。
スケジュール構成リスト
スケジュールを作成した後、スケジュール構成リストで表示、編集、クローン、または削除できます。
セクション | 説明 |
① フィルターおよび検索エリア | スケジュール名で素早く検索できます。 定期実行トリガー、データ更新トリガー、またはタスク実行トリガーでフィルターできます。 |
② 一覧表示エリア | スケジュール名、スケジュールタイプ、最終更新者、および最終更新日時を表示します。 |
③ 操作エリア | スケジュールの編集、クローン作成、または削除が可能です。
|
アラートの構成
異なるルールに異なるアラート方法を構成して、アラートを区別します。たとえば、強制ルール例外には電話アラートを使用し、ソフトルール例外には SMS アラートを使用します。ルールが複数のアラート構成に一致する場合、アラート優先度ポリシーを設定します。
監視対象ごとに最大 20 のアラート構成を作成できます。
「品質ルールの詳細」ページで、「アラート設定」タブをクリックします。次に、「アラート設定の作成」をクリックして、「アラート設定の作成」ダイアログボックスを開きます。
「[アラート設定の作成]」ダイアログボックスで、パラメーターを設定します。
[パラメーター]
[説明]
スコープ
[すべてのルール]、[すべての強力なルール]、[すべての弱いルール]、または [カスタム] を選択します。
説明監視対象ごとに、[すべてのルール]、[すべての強制ルール]、および [すべてのソフトルール] のそれぞれに対して1つのアラートを構成できます。新しいルールはルール強度に基づいてアラートに一致します。アラートを変更するには、既存の構成を編集します。
カスタム範囲は、現在の監視対象から最大 200 のルールをサポートします。
アラート設定名
名前は監視対象ごとに一意である必要があります。最大 256 文字。
アラート受信者
アラート受信者とアラート方法を構成します。少なくとも1つの受信者と1つの方法を選択します。
アラート受信者：カスタム、オンコールスケジュール、または品質オーナーから選択します。
最大5つのカスタム受信者を構成できます。最大3つのオンコールスケジュールを構成できます。
アラート方法: 電話、メール、ショートメッセージ、 DingTalk、 Lark、 WeCom、またはカスタムチャンネルから選択します。これらの方法は [チャンネル設定] で管理します。
アラート設定を完了するには、[OK] をクリックします。
アラート構成リスト
アラートを構成した後、アラート構成リストでソート、編集、または削除できます。
[番号] | [説明] |
① [ソートエリア] | ルールが複数のアラート構成に一致する場合、アラート優先度ポリシーを設定します。
|
② [リストエリア] | アラート構成名、範囲、受信者、およびアラート方法を表示します。 [スコープ]: カスタムアラートの場合、オブジェクトおよびルールの名前を表示します。ルールが削除された場合、名前は表示されません。アラート設定を更新することを推奨します。 |
③ [操作エリア] | アラートを編集または削除します。
|
アイコンをドラッグします。または、「アクション」列のアイコンをクリックします。アイコンは左から順に、「一番上に固定」と「一番下に固定」です。ソート後、[ソート完了] をクリックします。
例外アーカイブテーブルの追加
例外アーカイブテーブルは、品質ルール検証例外のレコードを保存します。
[品質ルールの詳細] ページで、[アーカイブ] タブをクリックします。次に [+ 例外アーカイブテーブルの追加] をクリックして [例外アーカイブテーブルの追加] ダイアログボックスを開きます。
[例外アーカイブテーブルの追加] ダイアログボックスで、パラメーターを設定します。
[メソッド] は、[テーブルの作成] および [既存のテーブルの選択] をサポートします。これらの方法では、特別な品質検証フィールドが追加されます。例外データは元のデータテーブルに書き込まれません。
テーブルの作成: テーブル名をカスタマイズします。デフォルトは current_table_name_exception_data です。テーブルは、アーカイブテーブルと同じプロジェクトまたはモジュール内に配置する必要があります。作成後、Dataphin は同じデータベースまたはデータソースにテーブルを作成します。使用できる文字は、英字、数字、アンダースコア (_)、ピリオド (.) で、最大 128 文字です。
監視対象テーブルが物理テーブルの場合、Dataphin は同じプロジェクトにアーカイブテーブルを作成します。
監視対象テーブルが論理ディメンションテーブルまたは論理ファクトテーブルの場合、Dataphin はデフォルトで同じプロジェクトにアーカイブテーブルを作成します。projectA.table_name のように、同じモジュール内のプロジェクトを指定することもできます。
監視対象テーブルが論理集計テーブルの場合、アーカイブテーブル名に同じモジュール内のプロジェクトを指定します。そうでない場合、Dataphin は監視対象テーブルのモジュール下のプロジェクトに作成します。
アーカイブテーブルには、品質監視テーブルのすべてのフィールドと検証フィールドを含める必要があります。スクリプトフォーマット：
create table current_table_name_exception_data (dataphin_quality_tenant_id varchar(64) comment 'テナント ID' , dataphin_quality_rule_id varchar(64) comment '品質ルール ID', dataphin_quality_rule_name varchar(256) comment '品質ルール名', dataphin_quality_column_name varchar(1024) comment '検証フィールド名', dataphin_quality_watch_task_id varchar(128) comment '監視対象タスク ID', dataphin_quality_rule_task_id varchar(64) comment 'ルールタスク ID', dataphin_quality_validate_time varchar(64) comment '品質検証時間', dataphin_quality_archive_mode varchar(32) comment '例外アーカイブモード: ONLY_ERROR_FIELD/FULL_RECORD', dataphin_quality_error_data string comment '例外データ', ljba_id bigint comment 'ljba_プライマリキー', ljb_id bigint comment 'ljb_プライマリキー', col_tinyint tinyint comment 'フィールドタイプ: TINYINT (小文字)', col_tinyint_02 tinyint comment '2', col_smallint smallint comment 'フィールドタイプ: SMALLINT (小文字)', col_smallint_02 smallint comment '4', col_int int comment 'フィールドタイプ: INT (小文字)', col_int_02 int comment '6', col_bigint bigint comment 'フィールドタイプ: BIGINT (小文字)', col_bigint_02 bigint comment '8', col_float float comment 'フィールドタイプ: FLOAT (小文字)', col_float_02 float comment '10', col_double double comment 'フィールドタイプ: DOUBLE (小文字)', col_double_02 double comment '11', col_decimal decimal(38,18) comment 'フィールドタイプ: DECIMAL(38,18) (小文字)', col_decimal_02 decimal(38,18) comment '12', col_varchar varchar(500) comment 'フィールドタイプ: VARCHAR(500) (小文字)', col_varchar_02 varchar(500) comment '13', col_char char(10) comment 'フィールドタイプ: CHAR(10) (小文字)', col_char_02 char(10) comment '14', col_string string comment 'フィールドタイプ: STRING (小文字)', col_string_02 string comment '15', col_date date comment 'フィールドタイプ: DATE (小文字)', col_date_02 date comment '16', col_datetime datetime comment 'フィールドタイプ: DATETIME (小文字)', col_datetime_02 datetime comment '17', col_timestmap timestamp comment 'フィールドタイプ: TIMESTAMP (小文字)', col_timestmap_02 timestamp comment '18', col_boolean boolean comment 'フィールドタイプ: BOOLEAN (小文字)', col_boolean_02 boolean comment '19', col_binary binary comment 'フィールドタイプ: BINARY (小文字)', col_binary_02 binary comment '20', col_array array<int> comment 'フィールドタイプ: ARRAY<int> (小文字)', col_array_02 array<string> comment '21', col_map map<string,string> comment 'フィールドタイプ: MAP<string, string> (小文字)', col_map_02 map<string,int> comment '22', ds string comment '日付パーティション, yyyyMMdd' ) partitioned by (dataphin_quality_validate_date string comment '検証日付 (パーティションフィールド)');
[既存のテーブルを選択]: 同じプロジェクトまたはデータソースからテーブルを選択します。アーカイブテーブルには、品質モニタリングテーブルおよび検証フィールドのすべてのフィールドが含まれている必要があります。CREATE TABLE 文を表示するには、[例外アーカイブテーブル DDL の表示] をクリックします。スクリプト形式：
create table current_table_name_exception_data (dataphin_quality_tenant_id varchar(64) comment 'テナント ID' , dataphin_quality_rule_id varchar(64) comment '品質ルール ID', dataphin_quality_rule_name varchar(256) comment '品質ルール名', dataphin_quality_column_name varchar(1024) comment '検証フィールド名', dataphin_quality_watch_task_id varchar(128) comment '監視対象タスク ID', dataphin_quality_rule_task_id varchar(64) comment 'ルールタスク ID', dataphin_quality_validate_time varchar(64) comment '品質検証時間', dataphin_quality_archive_mode varchar(32) comment '例外アーカイブモード: ONLY_ERROR_FIELD/FULL_RECORD', dataphin_quality_error_data string comment '例外データ', ljba_id bigint comment 'ljba_プライマリキー', ljb_id bigint comment 'ljb_プライマリキー', col_tinyint tinyint comment 'フィールドタイプ: TINYINT (小文字)', col_tinyint_02 tinyint comment '2', col_smallint smallint comment 'フィールドタイプ: SMALLINT (小文字)', col_smallint_02 smallint comment '4', col_int int comment 'フィールドタイプ: INT (小文字)', col_int_02 int comment '6', col_bigint bigint comment 'フィールドタイプ: BIGINT (小文字)', col_bigint_02 bigint comment '8', col_float float comment 'フィールドタイプ: FLOAT (小文字)', col_float_02 float comment '10', col_double double comment 'フィールドタイプ: DOUBLE (小文字)', col_double_02 double comment '11', col_decimal decimal(38,18) comment 'フィールドタイプ: DECIMAL(38,18) (小文字)', col_decimal_02 decimal(38,18) comment '12', col_varchar varchar(500) comment 'フィールドタイプ: VARCHAR(500) (小文字)', col_varchar_02 varchar(500) comment '13', col_char char(10) comment 'フィールドタイプ: CHAR(10) (小文字)', col_char_02 char(10) comment '14', col_string string comment 'フィールドタイプ: STRING (小文字)', col_string_02 string comment '15', col_date date comment 'フィールドタイプ: DATE (小文字)', col_date_02 date comment '16', col_datetime datetime comment 'フィールドタイプ: DATETIME (小文字)', col_datetime_02 datetime comment '17', col_timestmap timestamp comment 'フィールドタイプ: TIMESTAMP (小文字)', col_timestmap_02 timestamp comment '18', col_boolean boolean comment 'フィールドタイプ: BOOLEAN (小文字)', col_boolean_02 boolean comment '19', col_binary binary comment 'フィールドタイプ: BINARY (小文字)', col_binary_02 binary comment '20', col_array array<int> comment 'フィールドタイプ: ARRAY<int> (小文字)', col_array_02 array<string> comment '21', col_map map<string,string> comment 'フィールドタイプ: MAP<string, string> (小文字)', col_map_02 map<string,int> comment '22', ds string comment '日付パーティション, yyyyMMdd' ) partitioned by (dataphin_quality_validate_date string comment '検証日付 (パーティションフィールド)');
[OK] をクリックして、例外アーカイブテーブルの追加を完了します。
[作成後に自動的にアクティブなアーカイブテーブルとして設定] を選択すると、今後の品質ルール作成用のデフォルトのアーカイブテーブルとして設定されます。
異常アーカイブ済みテーブルのリストの表示
追加後、最初のテーブルがアクティブアーカイブテーブルになります。アーカイブテーブル名をクリックしてスキーマを表示します。他のテーブルをアクティブとして設定したり、削除したりすることもできます。
[アクティブなアーカイブテーブルとして設定]: テーブルをアクティブに設定すると、この監視対象の下にあるカスタム例外アーカイブテーブルを使用するすべての品質ルールが、例外データをこのテーブルにアーカイブします。
[削除]: 例外アーカイブテーブルへの参照のみを削除します。テーブル自体は削除されません。必要に応じて、後で再追加できます。
品質レポートの表示
[品質レポート] をクリックして、現在の品質ルールに関する[ルール検証概要] および [ルール検証詳細] を確認します。
例外結果、パーティション時間、またはルール名やオブジェクト名のキーワードで検証詳細を迅速にフィルターします。
検証詳細リストで、[操作] 列の
アイコンをクリックしてルール検証詳細を表示します。検証詳細リストで、[操作] 列の
アイコンをクリックして実行ログを表示します。
品質ルール権限管理の構成
「[権限管理]」をクリックします。「[詳細の表示]」を設定して、検証レコード、品質ルールの詳細、および品質レポートを表示できるユーザーを指定します。
[詳細表示]: [すべてのメンバー] または [プロジェクト品質管理権限を持つメンバー] を選択します。
[OK] をクリックして、権限管理の構成を完了します。
次のステップ
品質ルール構成が完了したら、Dataphin テーブルルールリストページで表示できます。 詳細については、「監視対象オブジェクトリストの表示、」をご参照ください。