Dataphin では、品質ルールを作成してデータテーブルをチェックし、データ品質の監視を向上させることができます。このトピックでは、Dataphin のテーブルの品質ルールを構成する方法について説明します。
前提条件
品質ルールを構成する前に、監視対象を追加する必要があります。詳細については、「監視対象の追加」をご参照ください。
権限
スーパー管理者、品質管理者、[品質ルール] - [管理] 権限を持つカスタムグローバルロール、およびテーブルを含むプロジェクトの [プロジェクト品質管理] - [品質ルール管理] 権限を持つカスタムプロジェクトロールは、品質ルールのスケジューリング、アラート、例外アーカイブテーブル、およびスコアリングの重みを構成できます。
品質オーナーは、担当する監視対象の品質ルールに対して、スケジュール、アラート、例外アーカイブテーブル、およびスコアの重みを構成できます。
品質所有者と一般ユーザーは、Dataphin テーブルの読み取り権限も持っている必要があります。権限をリクエストするには、「テーブル権限の申請、更新、および返却」をご参照ください。
操作権限はオブジェクトによって異なります。詳細については、「品質ルールの操作権限」をご参照ください。
品質ルールの構成
品質ルールは、[カスタム構成] と [標準から] オプションをサポートしており、後者ではデータ標準モジュールを有効にする必要があります。
[カスタム構成] を使用すると、組み込みまたはカスタムのテンプレートを使用して品質ルールを迅速に作成できます。このオプションは、柔軟な監視のためのカスタム SQL もサポートしています。
[標準から] は、現在のアセットオブジェクトに関連付けられたデータ標準で構成された品質ルールを使用します。これにより、標準の制約への準拠が保証されます。
チェックルール
データテーブルが品質ルールに照らしてチェックされる際、ソフトルールがトリガーされると、システムは例外を処理するためのアラートを送信します。強制ルールがトリガーされると、システムは関連するタスクを停止し、不良データが下流のノードに流れるのを防ぎます。システムはまた、例外を処理するためのアラートも送信します。
トライアル実行と通常実行
トライアル実行は、実行方法と結果の表示方法が通常実行と異なります。トライアル実行は、品質ルールの正しさとパフォーマンスをチェックするためのシミュレーション実行であり、その結果は品質レポートに表示されません。対照的に、実行は特定の時間に品質ルールを実行し、その結果は表示および分析のために品質レポートに送信されます。
品質ルールを構成する
Dataphin のホームページで、トップメニューバーの [管理] > [Data Quality] をクリックします。
左側のナビゲーションウィンドウで [品質ルール] をクリックします。[Dataphin テーブル] ページで、ターゲットオブジェクトの名前をクリックして [品質ルールの詳細] ページを開き、品質ルールを構成します。
[カスタム構成]
[品質ルールの作成] にカーソルを合わせ、[カスタム構成] を選択します。または、[品質ルールの作成] をクリックして [品質ルールの作成] ダイアログボックスを開きます。
[品質ルールの作成] ダイアログボックスで、パラメーターを構成します。
パラメーター
説明
基本情報
[ルール名]
カスタム品質ルールの名前。最大長は 256 文字です。
[ルールの強度]
[弱いルール] と [強いルール] をサポートします。
[ソフトルール]: [ソフトルール] を選択した場合、品質チェックが失敗するとアラートがトリガーされますが、下流のタスクノードはブロックされません。
[強制ルール]: [強制ルール] を選択した場合、品質チェックが失敗するとアラートがトリガーされます。コードチェックのスケジューリングやタスクトリガーのスケジューリングなど、下流のタスクが存在する場合、それらをブロックして不良データの拡散を防ぎます。定期的な品質スケジューリングのように下流のタスクが存在しない場合は、アラートのみがトリガーされます。
[説明]
カスタム品質ルールの説明。最大長は 128 文字です。
[構成方法]
[テンプレートの作成]: 一般的なシステムテンプレートとカスタムビジネステンプレートを使用して、品質ルールを迅速に作成します。
[システムテンプレート]: このテンプレートには構成可能な組み込みパラメーターがあり、一般的なルールの作成に適しています。
[カスタムテンプレート]: このテンプレートには事前設定されたパラメーターがあり、構成は不要です。通常、ビジネスロジックを含むルールの作成に使用されます。
[SQL]: SQL を使用して、柔軟で複雑なシナリオに対応するカスタム品質監視ルールを作成します。
[ルールテンプレート]
ドロップダウンリストからルールテンプレートを選択します: [完全性]、[一意性]、[適時性]、[有効性]、[一貫性]、[安定性]、または [SQL]。
[完全性]: [NULL 値の検証] と [空の文字列の検証] が含まれます。
[一意性]: [一意性検証]、[フィールドグループ数検証]、および [重複値数検証] が含まれます。
[適時性]: [式との時間比較]、[時間間隔比較]、および [2 つのテーブルでの時間間隔比較] が含まれます。
[有効性]: [列フォーマット検証]、[列長検証]、[列値ドメイン検証]、[参照テーブル検証]、および [標準参照テーブル検証] (データ標準モジュールの有効化が必要) が含まれます。
[一貫性]: [列値一貫性検証]、[列統計一貫性検証]、[単一フィールドビジネスロジック一貫性比較]、[2 つのテーブルの列値一貫性検証]、[2 つのテーブルの列統計一貫性検証]、[2 つのテーブルの列処理ロジック一貫性検証]、および [クロスソース列統計一貫性検証] が含まれます。
[安定性]: [テーブル安定性検証]、[テーブル変動性検証]、[列安定性検証]、および [列変動性検証] が含まれます。
[SQL]: [カスタム統計指標の検証] と [カスタム詳細値の検証] が含まれます。
詳細については、「テンプレートタイプの説明」をご参照ください。
[ルールタイプ]
ルールタイプは、テンプレートの最も基本的なプロパティです。説明とフィルタリングに使用されます。
[監視の粒度]
構成タイプが [カスタム SQL 文を使用してデータセットを作成] の場合、監視粒度を構成できます。[テーブル全体] を選択するか、監視する [フィールド] を指定できます。
[テンプレートの構成]
[テンプレート情報]
品質ルールテンプレートを選択すると、その構成が表示されます。必要に応じて、品質ルールテンプレートで構成を変更します。
ルール構成
[ルールの構成]
ルールの構成は、選択したルールテンプレートによって異なります。詳細については、「データテーブルのパラメーター構成」をご参照ください。
特別な構成は次のとおりです。
[検証テーブルデータフィルタリング]: この機能はデフォルトで無効になっています。有効にすると、検証テーブルのフィルター条件、パーティションフィルター、または一般的なデータフィルターを構成できます。フィルター条件は検証 SQL に直接追加されます。検証テーブルにパーティションフィルタリングが必要な場合は、スケジュール構成でパーティションフィルター式を構成します。構成後、検証パーティションは品質レポートを表示するための最小粒度として使用されます。
ルールテンプレートとして [一貫性/2 つのテーブルのフィールド統計値の一貫性比較] または [一貫性/クロスソースの 2 つのテーブルのフィールド統計値の一貫性比較] を選択した場合、[比較テーブルデータフィルタリング] を有効にできます。有効にすると、比較テーブルのフィルター条件、パーティションフィルター、または一般的なデータフィルターを構成できます。フィルター条件は検証 SQL に直接追加されます。
検証構成
[ルールの検証]
Data Quality ルールの検証後、結果は異常検証構成と比較されます。条件が満たされた場合、検証は失敗し、アラートなどの後続のフローがトリガーされます。
テンプレートと構成によって、異常検証に使用できるメトリックが決まります。検証は、AND/OR 演算子と組み合わせた複数の条件をサポートします。実際の構成では 3 つ未満の条件を使用してください。
詳細については、「検証構成の説明」をご参照ください。
[アーカイブ構成]
データ異常のアーカイブ
これはデフォルトで [オフ] です。[有効] にすると、異常データをファイルまたはテーブルにアーカイブできます。品質チェックの後、アーカイブされた異常データをダウンロードして分析できます。
[ARCHIVELOG モード] は、[異常フィールドのみをアーカイブ] と [完全なレコードをアーカイブ] をサポートします。
[異常フィールドのみをアーカイブ]: 重複を削除し、現在の監視対象フィールドのみをアーカイブします。単一のフィールドで異常データを特定できる場合に使用します。
[完全なレコードをアーカイブ]: 異常データを含むレコード全体をアーカイブします。異常データを特定するために完全なレコードが必要な場合に使用します。
説明完全なレコードをアーカイブすると、アーカイブされるデータ量が大幅に増加するため、ほとんどの場合は [異常フィールドのみをアーカイブ] オプションを使用してください。
[アーカイブ場所] は、[デフォルトのファイルサーバー] と [例外データ用のアーカイブテーブル] をサポートします。例外アーカイブテーブルが存在しない場合は、[例外アーカイブテーブルの管理] をクリックして作成します。詳細については、「例外アーカイブテーブルを追加する」をご参照ください。
[デフォルトのファイルサーバー]: これは、Dataphin のデプロイ時に構成されたシステムファイルサーバーです。[検証レコード] > [検証詳細] ページから異常データを直接ダウンロードするか、デフォルトのファイルサーバーにアクセスしてデータを取得できます。デフォルトのファイルサーバーを使用する場合、各検証で最大 100 件の異常データレコードがアーカイブされます。このオプションは、小規模なデータ検証量のシナリオに適しています。
[例外データ用のアーカイブテーブル]: より多くの異常データを保存したり、異なる検証レコードからの異常データを後で比較・分析するために統合したりする場合は、カスタムアーカイブテーブルを指定します。各品質ルールは、1 回の実行で最大 10,000 件の異常データレコードを記録できます。[検証レコード] ページから単一の検証の異常データをダウンロードするだけでなく、アーカイブテーブルに直接アクセスして、そのライフサイクルをカスタマイズすることで、より高い柔軟性を得ることができます。
説明現在の実行で全てのルールによって生成された異常データのサマリーをダウンロードできます。ダウンロードは 1,000 レコードに制限されています。より多くのデータを表示するには、指定された例外アーカイブテーブルにアーカイブし、テーブルに直接アクセスしてデータを取得します。
例外アーカイブテーブルは特定のフォーマット要件を満たす必要があります。そうでない場合、データ書き込み時にエラーが発生し、使用に影響する可能性があります。詳細については、「例外アーカイブテーブルを追加する」をご参照ください。
ビジネスプロパティ構成
プロパティ情報
ビジネスプロパティの設定方法は、品質ルールプロパティの構成によって異なります。たとえば、管理部門のプロパティは複数選択の列挙です。利用可能な値は、ビッグデータ部門、ビジネス部門、技術部門です。したがって、品質ルールを作成する際、このプロパティはこれらのオプションを持つ複数選択のドロップダウンリストになります。
ルールオーナープロパティの値のタイプはカスタム入力で、最大長は 256 文字です。したがって、品質ルールを作成する際、このプロパティの値は最大 256 文字まで可能です。
プロパティフィールドが [範囲間隔] に設定されている場合は、次のように構成します:
範囲間隔: 連続した数値または日付の値の範囲に使用します。>、>=、<、<= の 4 つの記号から選択できます。プロパティ構成の詳細については、「品質ルールプロパティの作成と管理」をご参照ください。
スケジューリングプロパティ構成
[スケジューリング方法]
構成済みのスケジュールを選択できます。スケジューリング方法をまだ決定していない場合は、品質ルールを作成した後に構成できます。新しいスケジュールを作成するには、「スケジュールを作成する」をご参照ください。
品質スコアの構成
[スコアリング方法]
2 つのスコアリング方法が利用可能です: 品質チェックステータスとデータ合格率。
品質チェックステータス: スコアは、ルールの最新の成功したチェックのステータスに基づきます。合格したチェックは 100 ポイントを受け取ります。失敗したチェックは 0 ポイントを受け取ります。
データ合格率: スコアは、最新の成功したチェックからの有効なデータの割合です。たとえば、データの 80% が有効なフォーマットである場合、品質スコアは 80 です。
異なるルールテンプレートは異なるスコアリング方法をサポートします。以下のルールタイプは [品質チェックステータス] 方法のみをサポートします:
一意性ルール (フィールドグループ数のチェックや重複フィールド値の数のチェックなど)。
一貫性ルール (単一テーブルのフィールド統計比較やクロスソースの 2 つのテーブルのフィールド統計比較など)。
安定性ルール。
カスタム統計メトリックをチェックするカスタム SQL ルール。
[品質スコアのウェイト]
品質ルールの重み。この値は、監視対象の品質スコアを計算するのに役立ちます。1 から 10 までの整数を選択します。
[OK] をクリックして、カスタムルールの構成を保存します。
[SQL のプレビュー] をクリックすると、現在の構成と最後に保存されたバージョンを比較することで、SQL の変更を確認できます。
説明キー情報が欠落している場合、[SQL のプレビュー] は利用できません。
左側のペインには、最後に保存された構成の SQL プレビューが表示されます。構成が保存されていない場合、このペインは空です。右側のペインには、現在の構成の SQL プレビューが表示されます。
[参照データ標準監視]
データテーブルにカーソルを合わせ、[品質ルールの作成] をクリックし、[標準から] を選択します。
[標準から] ダイアログボックスで、参照したいデータ標準ルールを選択します。標準ルールは、[有効性]、[一意性]、[完全性]、[安定性] などのテンプレートでフィルタリングしたり、オブジェクト名で検索したりできます。
データ標準ルールを参照するダイアログボックスでは、ルール名を変更したり、ルールを有効または無効にしたりできます。また、関連する標準の下にある標準コードをクリックして標準の詳細を表示したり、[操作] 列の
アイコンをクリックして品質ルールを表示したりすることもできます。説明ルールを参照した後、その詳細を変更することはできません。スケジュールを構成し、ルールの強度を変更することはできます。
[選択したルールを追加] をクリックして、データ標準ルールの参照を完了します。
ルールの構成リスト
品質ルールが作成されると、ルール構成リストから表示、編集、トライアル実行、実行、削除ができます。
リージョン | 説明 |
①フィルターと検索エリア | オブジェクトまたはルール名によるクイック検索をサポートします。 ルールタイプ、ルールテンプレート、ルールの強度、トライアル実行ステータス、有効ステータス、およびルールソースによるフィルタリングをサポートします。 説明 品質ルールのビジネス属性が検索可能、フィルタリング可能、かつ有効である場合、それを使用して検索およびフィルタリングすることもできます。 |
②リストエリア | リスト内のルールのオブジェクトタイプ/名前、ルール名/ID、トライアル実行ステータス、有効ステータス、ルールタイプ、ルールテンプレート、ルールの強度、スケジュールタイプ、および関連するナレッジベースドキュメント情報を表示します。[更新] の横にある
|
③操作エリア | ルールの表示、クローン、編集、トライアル実行、実行、スケジュールの構成、ナレッジベースドキュメントの関連付け、品質スコアの構成、および削除ができます。
|
④一括操作エリア | トライアル実行、実行、スケジュールの構成、有効化、無効化、ビジネスプロパティの変更、ナレッジベースドキュメントの関連付け、品質スコアの構成、ルールのエクスポート、削除などのバッチ操作を実行できます。
|
アイコンをクリックして、ルールリストに表示するフィールドを選択します。
アイコンをクリックして標準の詳細を表示します。
アイコンでマークされます。
アイコンをクリックして [トライアル実行ログを表示] します。スケジュールを作成する
ルールのスケジュールを構成する際、既存のスケジュールに基づいて迅速に構成できます。各テーブルには最大 20 のスケジューリングルールを設定できます。
単一のルールには最大 10 のスケジュールを設定できます。
スケジュール構成が同一の場合、自動的に重複排除されます。
現在のテーブルが Hologres パーティションテーブルの場合、固定のタスクトリガースケジュールを使用することをお勧めします。
チェック範囲は、各品質チェックの範囲を制御するために、品質チェック文にフィルター条件として渡されます。チェック範囲は、品質レポートなどの下流コンポーネントの基本単位でもあります。品質レポートは、チェック範囲の最小粒度で表示されます。
[品質ルールの詳細] ページで、[スキャン構成] タブをクリックし、[スケジュールの作成] ボタンをクリックして [スケジュールの作成] ダイアログボックスを開きます。
[スケジュールの作成] ダイアログボックスで、パラメーターを構成します。
パラメーター
説明
スケジュール名
スケジュールのカスタム名を入力します。名前は 64 文字以下でなければなりません。
スケジュールタイプ
[定期的なトリガー]、[データ更新トリガー]、および [タスクトリガー] をサポートします。
[定期的なトリガー]: 構成された時間に基づいて、データに対してスケジュールされた定期的な品質チェックを実行します。このトリガーは、データ生成時間が固定されているシナリオに適しています。
[繰り返し]: 品質ルールの実行は計算リソースを消費します。通常の生産タスクに影響を与えないように、複数の品質ルールを同時に実行することは避けてください。スケジュールは [日]、[週]、[月]、[時間]、または [分] に設定できます。
システムタイムゾーン (ユーザーセンターのタイムゾーン) がスケジュールタイムゾーン ([管理ハブ] > [システム設定] > [基本設定] で構成されたタイムゾーン) と一致しない場合、ルールはシステムタイムゾーンに基づいて実行されます。
[推奨時間を入力]: [推奨時間を入力] をクリックします。システムは、現在のテーブルを生成するタスクの平均完了時間に基づいて時間を推奨します。
[データ更新トリガー]: いずれかのコードタスクが実行されると、システムはタスクの実行が現在のテーブルの指定されたチェック範囲を更新するかどうかをチェックします。このトリガーは、さまざまなタスクによって変更されるテーブルや、すべての変更をチェックする必要がある密接な監視が必要なテーブルに適しています。
説明チェック範囲をタスクによって更新されるパーティションに設定します。非パーティションテーブルの場合、テーブル全体がチェックされます。システムはすべてのデータ変更を自動的に検出してチェックし、見落としを防ぎます。
[タスクトリガー]: 指定されたタスクが正常に実行された後または前に、構成された品質ルールを実行します。ルールは、DPI エンジン SQL、オフラインパイプライン、Python、Shell、Virtual、Datax、Spark_jar、Hive_MR、およびデータベース SQL のノードタイプのタスクによってトリガーできます。このトリガーは、テーブル変更タスクが固定されているシナリオに適しています。
説明タスクトリガーのルールでは、本番環境のタスクのみを選択できます。ルールが強制ルールとして構成され、チェックが失敗した場合、オンラインタスクに影響が及ぶ可能性があります。必要に応じて注意して進めてください。
[トリガータイミング]: 品質チェックをトリガーするタイミングを選択します。[すべてのタスクが正常に実行された後にトリガー]、[各タスクが正常に実行された後にトリガー]、または [各タスクが実行される前にトリガー] を選択できます。
[トリガータスク]: プロジェクト管理者または O&M システムロールを持つユーザーが、本番プロジェクトのタスクノードを選択できます。出力名でノードを検索するか、推奨またはすべてのタスクリストから選択します。
[推奨タスク]: 現在のテーブルが出力テーブルとして機能し、ノードの出力名が `セクション名/プロジェクト名.テーブル名` の形式であるリネージタスクを表示します。つまり、[アセットディレクトリ] > [アセット詳細] > [出力情報] のタスク範囲です。
[すべてのタスク]: 現在のユーザーが O&M 権限を持つすべての本番タスクを表示します。
説明[トリガータイミング] を [すべてのタスクが正常に実行された後にトリガー] に設定した場合、同じスケジュールエポックを持つトリガータスクを選択します。これにより、異なるスケジュールエポックがルールの実行遅延や品質チェック結果の遅延を引き起こすのを防ぎます。
[トリガータイミング] を [各タスクが実行される前にトリガー] に設定した場合、[推奨タスク] リストには現在のテーブルが入力であるリネージタスクが表示されます。
スケジュール条件
このオプションはデフォルトで無効になっています。有効にすると、品質ルールが実行される前に、システムはまずスケジューリング条件が満たされているかどうかをチェックします。条件が満たされている場合にのみルールが実行されます。そうでない場合、システムは実行を無視します。
[データタイムスタンプ]/[実行日]: スケジュールタイプが [定期的なトリガー] (時間指定スケジューリングは実行日をサポートしません)、[データ更新トリガー]、または [タスクトリガー] の場合、日付を構成できます。[通常カレンダー] または [カスタムカレンダー] を選択します。カスタムカレンダーの作成方法の詳細については、「パブリックカレンダーを作成する」をご参照ください。
[通常カレンダー] を選択した場合、利用可能な条件は [月]、[週]、および [日付] です。例として、下の画像を参照してください:
[カスタムカレンダー] を選択した場合、利用可能な条件は [日付タイプ] と [タグ] です。例として、下の画像を参照してください:
[インスタンスタイプ]: スケジュールタイプが [データ更新トリガー] または [タスクトリガー] の場合、インスタンスタイプを構成できます。[定期インスタンス]、[データバックフィルインスタンス]、または [ワンタイムインスタンス] を選択します。例として、下の画像を参照してください:
説明少なくとも 1 つのルールを構成します。ルールを追加するには、[+ ルールを追加] ボタンをクリックします。
最大 10 個のスケジューリング条件を構成できます。
スケジューリング条件間の関係を AND または OR に設定できます。
検証範囲
スケジューリングタイプが [時間指定スケジューリング] または [固定ノードトリガースケジューリング] の場合、[カスタム検証範囲] オプションが利用可能です。スケジューリングタイプが [データ更新トリガースケジューリング] の場合、利用可能なオプションは [更新されたパーティション]
と [カスタム検証範囲] です。
[更新されたパーティション]: チェックノードでパーティションが更新された場合、ノードは更新されたパーティションに基づいてディスパッチされます。
説明動的パーティションのシナリオでは、パーティションが解析されず、品質チェックが実行されない場合があります。
パーティションサイズ、行数、フィールド統計などの変動チェックルールでは、パーティションを指定する必要があります。これらのルールは、更新されたパーティションの検証範囲をサポートしません。
非パーティションテーブルのデータが更新された場合、テーブル全体がチェックされます。
カスタム検証範囲: パーティションが解析できないシナリオでは、カスタム検証範囲を使用して、データタイムスタンプまたは実行日に基づいて検証範囲式を指定します。
[検証範囲式]: これはカスタム入力を受け入れるドロップダウンリストです。
ds='${yyyyMMdd}'のようにチェックする範囲を入力するか、組み込みの式を選択して変更して迅速に構成します。パーティションフィルター式の詳細については、「組み込みパーティションフィルター式のタイプ」をご参照ください。説明複数の条件が必要な場合は、and または or で接続します。例:
province="Zhejiang" and ds<=${yyyyMMdd}。品質ルールでフィルター条件が構成されている場合、それは検証範囲式と AND 演算子で結合されます。データ検証中、両方の条件がフィルタリングに使用されます。
検証範囲式は全表スキャンをサポートします。
注: 全表スキャンは大量のリソースを消費し、一部のチェックはこの機能をサポートしていません。全表スキャンを避けるために、パーティションフィルター式を構成してください。
[検証範囲予算]: デフォルト: 当日のデータタイムスタンプ。
[OK] をクリックして、スケジュール構成を保存します。
スケジュール構成リスト
スケジュールが作成されると、スケジュール構成リストから表示、編集、クローン、削除ができます。
リージョン | 説明 |
①フィルターと検索エリア | スケジュール名によるクイック検索をサポートしています。 [定期的なトリガー]、[データ更新トリガー]、および [タスクトリガー] によるフィルタリングをサポートします。 |
②リストエリア | ルール構成の [スケジュール名]、[スケジュールタイプ]、[最終更新者]、および [最終更新日時] を表示します。 |
③操作エリア | スケジュールの編集、クローン作成、または削除ができます。
|
アラート構成
異なるルールに異なるアラート方法を構成して、アラートを区別できます。たとえば、強制ルールの例外には電話アラートを、ソフトルールの例外にはショートメッセージアラートを構成できます。ルールが複数のアラート構成に一致する場合、どのアラートが有効になるかを決定するポリシーを設定できます。
1 つの監視対象オブジェクトには、最大 20 個のアラート構成を設定できます。
[品質ルールの詳細] ページで、[アラート設定] タブをクリックし、[アラート構成の作成] ボタンをクリックして [アラート構成の作成] ダイアログボックスを開きます。
[アラート構成の作成] ダイアログボックスで、パラメーターを構成します。
パラメーター
説明
適用範囲
[すべてのルール]、[すべての強制ルール]、[すべてのソフトルール]、および [カスタム] を選択できます。
説明単一の監視対象に対して、[すべてのルール]、[すべての強制ルール]、[すべてのソフトルール] の 3 つの範囲ごとに 1 つのアラートを構成できます。新しいルールは、その強度に基づいて対応するアラートに自動的に一致します。アラート構成を変更するには、既存のものを変更します。
[カスタム] 範囲では、現在の監視対象に構成されているルールのうち最大 200 個を選択できます。
アラート構成名
単一の監視対象に対して、アラート構成名は一意でなければならず、256 文字を超えることはできません。
アラート受信者
アラートの受信者と方法を構成します。少なくとも 1 人の受信者と 1 つの方法を選択します。
[アラート受信者]: カスタム受信者、勤怠表、または品質オーナーから選択します。
最大 5 人のカスタム受信者と 3 つの勤怠表を構成できます。
[アラート方法]: 電話、メール、ショートメッセージ、DingTalk、Lark、WeCom、およびカスタムチャンネルなど、1 つ以上のアラート方法を選択します。これらの方法は [チャンネル設定の構成] で管理できます。
[OK] をクリックして、アラート構成を保存します。
アラート構成リスト
アラート構成が作成されると、アラート構成リストからソート、編集、削除ができます。
序数 | 説明 |
① ソートエリア | 品質ルールが複数のアラート構成に一致する場合に適用されるアラートポリシーを構成します:
|
② リストエリア | アラート構成の名前、その有効範囲、各アラートタイプの特定の受信者、および対応する通知方法を表示します。 [有効範囲]: カスタムアラートの場合、範囲には構成されたオブジェクト名とルール名が含まれます。ルールが削除された場合、対応するオブジェクト名は表示できません。アラート構成を更新してください。 |
③ 操作エリア | 構成されたアラートを編集および削除できます。
|
アイコンをドラッグします。操作列のアイコンを使用して、リストの先頭または末尾に移動することもできます。ソートが完了したら、[ソート完了] をクリックします。
例外アーカイブテーブルを追加する
例外アーカイブテーブルには、品質ルールチェック例外のレコードが保存されます。
[品質ルールの詳細] ページで、[アーカイブ] タブをクリックし、[+ 例外アーカイブテーブルを追加] ボタンをクリックして [例外アーカイブテーブルを追加] ダイアログボックスを開きます。
[例外アーカイブテーブルを追加] ダイアログボックスで、パラメーターを設定します。
[追加方法] パラメーターには、[新しいテーブルを作成] と [既存のテーブルを選択] の 2 つのオプションがあります。アーカイブテーブルは元のデータテーブルを上書きせず、特別な品質検証フィールドを含みます。
[新しいテーブルを作成]: テーブル名をカスタマイズできます。名前には文字、数字、アンダースコア (_)、ピリオド (.) を含めることができ、128 文字を超えることはできません。デフォルトでは、名前は current_table_name_exception_data で入力されます。新しいテーブルは、アーカイブされるテーブルと同じプロジェクトまたはモジュールにある必要があります。テーブルが作成されると、同じデータベースまたはデータソースに保存されます。
監視対象テーブルが物理テーブルの場合、アーカイブテーブルは監視対象テーブルと同じプロジェクトに作成されます。
監視対象テーブルが論理ディメンションテーブルまたは論理ファクトテーブルの場合、アーカイブテーブルはデフォルトで監視対象テーブルと同じプロジェクトに作成されます。監視対象テーブルのワークスペースの下にあるプロジェクト (例: projectA.table_name) を手動で指定することもできます。
監視対象テーブルが論理集計テーブルの場合、アーカイブテーブルには同じワークスペースの下のプロジェクト名を指定することをお勧めします。そうしないと、監視対象テーブルのワークスペースの下のプロジェクトに自動的にアーカイブされます。
アーカイブテーブルには、品質監視テーブルのすべてのフィールドとチェックフィールドが含まれている必要があります。スクリプトのフォーマットは次のとおりです:
create table current_table_name_exception_data (dataphin_quality_tenant_id varchar(64) comment 'テナント ID' , dataphin_quality_rule_id varchar(64) comment '品質ルール ID', dataphin_quality_rule_name varchar(256) comment '品質ルール名', dataphin_quality_column_name varchar(1024) comment '検証フィールド名', dataphin_quality_watch_task_id varchar(128) comment '監視対象オブジェクト タスク ID', dataphin_quality_rule_task_id varchar(64) comment 'ルール タスク ID', dataphin_quality_validate_time varchar(64) comment '品質検証時間', dataphin_quality_archive_mode varchar(32) comment '異常データアーカイブモード、ONLY_ERROR_FIELD/FULL_RECORD', dataphin_quality_error_data string comment '異常データ', ljba_id bigint comment 'ljba プライマリキー', ljb_id bigint comment 'ljb プライマリキー', col_tinyint tinyint comment 'フィールドタイプは TINYINT で小文字です', col_tinyint_02 tinyint comment '2', col_smallint smallint comment 'フィールドタイプは SMALLINT で小文字です', col_smallint_02 smallint comment '4', col_int int comment 'フィールドタイプは INT で小文字です', col_int_02 int comment '6', col_bigint bigint comment 'フィールドタイプは BIGINT で小文字です', col_bigint_02 bigint comment '8', col_float float comment 'フィールドタイプは FLOAT で小文字です', col_float_02 float comment '10', col_double double comment 'フィールドタイプは DOUBLE で小文字です', col_double_02 double comment '11', col_decimal decimal(38,18) comment 'フィールドタイプは DECIMAL(38,18) で小文字です', col_decimal_02 decimal(38,18) comment '12', col_varchar varchar(500) comment 'フィールドタイプは VARCHAR(500) で小文字です', col_varchar_02 varchar(500) comment '13', col_char char(10) comment 'フィールドタイプは CHAR(10) で小文字です', col_char_02 char(10) comment '14', col_string string comment 'フィールドタイプは STRING で小文字です', col_string_02 string comment '15', col_date date comment 'フィールドタイプは DATE で小文字です', col_date_02 date comment '16', col_datetime datetime comment 'フィールドタイプは DATETIME で小文字です', col_datetime_02 datetime comment '17', col_timestmap timestamp comment 'フィールドタイプは TIMESTAMP で小文字です', col_timestmap_02 timestamp comment '18', col_boolean boolean comment 'フィールドタイプは BOOLEAN で小文字です', col_boolean_02 boolean comment '19', col_binary binary comment 'フィールドタイプは BINARY で小文字です', col_binary_02 binary comment '20', col_array array<int> comment 'フィールドタイプは ARRAY<int> で小文字です', col_array_02 array<string> comment '21', col_map map<string,string> comment 'フィールドタイプは MAP<string, string> で小文字です', col_map_02 map<string,int> comment '22', ds string comment '日付パーティション、yyyyMMdd' ) partitioned by (dataphin_quality_validate_date string comment '検証日（パーティションフィールド）');
[既存のテーブルを選択]: 同じプロジェクトまたはデータソースからテーブルを選択します。アーカイブテーブルには、品質監視テーブルのすべてのフィールドと検証フィールドが含まれている必要があります。[例外アーカイブテーブル DDL を表示] をクリックして、テーブル作成ステートメントを表示できます。スクリプトのフォーマットは次のとおりです:
create table current_table_name_exception_data (dataphin_quality_tenant_id varchar(64) comment 'テナント ID' , dataphin_quality_rule_id varchar(64) comment '品質ルール ID', dataphin_quality_rule_name varchar(256) comment '品質ルール名', dataphin_quality_column_name varchar(1024) comment '検証フィールド名', dataphin_quality_watch_task_id varchar(128) comment '監視対象ノード ID', dataphin_quality_rule_task_id varchar(64) comment 'ルールノード ID', dataphin_quality_validate_time varchar(64) comment '品質検証時間', dataphin_quality_archive_mode varchar(32) comment '異常データアーカイブモード、ONLY_ERROR_FIELD/FULL_RECORD', dataphin_quality_error_data string comment '異常データ', ljba_id bigint comment 'ljba 主キー', ljb_id bigint comment 'ljb 主キー', col_tinyint tinyint comment 'フィールドタイプは TINYINT で小文字', col_tinyint_02 tinyint comment '2', col_smallint smallint comment 'フィールドタイプは SMALLINT で小文字', col_smallint_02 smallint comment '4', col_int int comment 'フィールドタイプは INT で小文字', col_int_02 int comment '6', col_bigint bigint comment 'フィールドタイプは BIGINT で小文字', col_bigint_02 bigint comment '8', col_float float comment 'フィールドタイプは FLOAT で小文字', col_float_02 float comment '10', col_double double comment 'フィールドタイプは DOUBLE で小文字', col_double_02 double comment '11', col_decimal decimal(38,18) comment 'フィールドタイプは DECIMAL(38,18) で小文字', col_decimal_02 decimal(38,18) comment '12', col_varchar varchar(500) comment 'フィールドタイプは VARCHAR(500) で小文字', col_varchar_02 varchar(500) comment '13', col_char char(10) comment 'フィールドタイプは CHAR(10) で小文字', col_char_02 char(10) comment '14', col_string string comment 'フィールドタイプは STRING で小文字', col_string_02 string comment '15', col_date date comment 'フィールドタイプは DATE で小文字', col_date_02 date comment '16', col_datetime datetime comment 'フィールドタイプは DATETIME で小文字', col_datetime_02 datetime comment '17', col_timestmap timestamp comment 'フィールドタイプは TIMESTAMP で小文字', col_timestmap_02 timestamp comment '18', col_boolean boolean comment 'フィールドタイプは BOOLEAN で小文字', col_boolean_02 boolean comment '19', col_binary binary comment 'フィールドタイプは BINARY で小文字', col_binary_02 binary comment '20', col_array array<int> comment 'フィールドタイプは ARRAY<int> で小文字', col_array_02 array<string> comment '21', col_map map<string,string> comment 'フィールドタイプは MAP<string, string> で小文字', col_map_02 map<string,int> comment '22', ds string comment '日付パーティション、yyyyMMdd' ) partitioned by (dataphin_quality_validate_date string comment '検証日 (パーティションフィールド)');
[OK] をクリックして、例外アーカイブテーブルを追加します。
[作成後に有効なアーカイブテーブルとして自動的に設定] を選択すると、新しいテーブルが新しい品質ルールの有効なアーカイブテーブルとして自動的に使用されます。
例外アーカイブテーブルのリストを表示する
テーブルが追加されると、最初のテーブルがデフォルトの有効なアーカイブテーブルになります。例外アーカイブテーブルの名前をクリックして、そのスキーマ情報を表示できます。他のテーブルを有効なアーカイブテーブルとして設定したり、削除したりすることもできます。
[有効なアーカイブテーブルとして設定]: テーブルを有効なアーカイブテーブルとして設定すると、この監視対象の既存のすべての品質ルールで、アーカイブ場所が [カスタム例外アーカイブテーブル] に設定されている異常データの宛先になります。
[削除]: この操作は、アーカイブテーブルへの参照のみを削除し、テーブル自体は削除しません。必要に応じて、参照を再度追加できます。
品質レポートを表示する
[品質レポート] をクリックして、現在の品質ルールの [ルール検証の概要] と [ルール検証の詳細] を表示します。
例外結果、パーティション時間、またはルール名やオブジェクト名のキーワードでチェック詳細をすばやくフィルタリングできます。
ルールチェック詳細リストの [操作] 列で、
アイコンをクリックして品質ルールのチェック詳細を表示できます。ルールチェック詳細リストの [操作] 列で、
アイコンをクリックして品質ルールの実行ログを表示できます。
品質ルールの権限を設定する
[権限管理] をクリックして、[詳細を表示] 権限を構成します。この権限により、指定されたメンバーは検証レコードの詳細、品質ルールの詳細、および品質レポートを表示できます。
[詳細を表示]: [すべてのメンバー] または [現在のオブジェクトの品質管理権限を持つメンバーのみ] を選択できます。
[OK] をクリックして、権限設定を保存します。
次のステップ
品質ルールを構成した後、Dataphin テーブルルールリストページでそれらを管理および表示できます。詳細については、「監視対象リストの表示」をご参照ください。