品質ダッシュボードには、主要なデータ品質メトリクス、ルールチェックの傾向、問題が上位のテーブルとそのオーナー、およびワークスペースのルールカバレッジが表示されます。これにより、品質問題を効率的に特定し、解決できます。
品質ダッシュボードへのアクセス
データ品質ページに移動します。
DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、 を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[データ品質に移動] をクリックします。
-
左側メニューで、品質ダッシュボード をクリックします。
使用上の注意
品質ダッシュボードには、現在のワークスペースのデータ品質統計が表示されます。
-
ダッシュボードの右上隅で、表示する統計の期間として今日、昨日、前日、またはカスタムの日付範囲を選択できます。デフォルトでは、ダッシュボードには今日のリアルタイム統計が表示されます。
-
本番環境のみ表示 を選択すると、本番環境の統計のみが表示されます。
説明このオプションを選択した場合、開発テーブルのチェック結果は統計に含まれません。標準モードのワークスペースのみ、開発環境と本番環境が個別にあります。基本モードでは、すべてのデータテーブルが本番テーブルです。詳細については、「基本モードと標準モードの違い」をご参照ください。
-
また、以下のいずれかの観点からデータ品質の概要を表示することもできます。
-
すべて：現在のワークスペース内のすべてのエンジンタイプのデータ品質統計を表示します。
-
特定のデータソース ([MaxCompute]、[E-MapReduce]、[Hologres]、[CDH Hive]、[AnalyticDB for PostgreSQL]、[AnalyticDB for MySQL]、[StarRocks]、[MySQL] など)：選択したデータソースの統計を表示します。
説明現在、データ品質モニタリングルールは、次のデータソースタイプで設定できます：[MaxCompute]、[E-MapReduce]、[Hologres]、[CDH Hive]、[AnalyticDB for PostgreSQL]、[AnalyticDB for MySQL]、[StarRocks]、[MySQL] など。[SelectDB] などのデータソースは、現在データ品質モニタリングルールの設定に対応していません。
説明ストリーミングデータの統計には対応していません。
-
主要なデータ品質メトリクス
このセクションでは、右側で ルール または テーブル を選択すると、ルールごとまたはテーブルごとに主要なデータ品質メトリクスを表示できます。
|
カテゴリ |
メトリクス |
説明 |
|
[テーブル] |
ルールが設定されたテーブル数 |
選択した日付において、ワークスペース内でデータ品質ルールが設定されているテーブルの数です。 |
|
品質問題のあるテーブル数 |
選択した日に、少なくとも1つのチェックインスタンスが 合格 以外のステータスで完了したテーブルの数です。これには、しきい値違反とシステムエラーが含まれます。 検出済みテーブル数：選択した日にチェックインスタンスが完了したテーブルの数です。完了したインスタンスのステータスには、合格、しきい値違反、またはシステムエラーがあります。 |
|
|
強制ルールの問題があるテーブル数 |
選択した日に、強制ルールのチェックが 合格 以外のステータスで完了したテーブルの数です。これには、しきい値違反とシステムエラーが含まれます。 赤色異常テーブル数：選択した日に強制ルールのクリティカルしきい値に違反したテーブルの数です。 オレンジの異常テーブル数：選択した日に強制ルールの警告しきい値に違反したテーブルの数です。 |
|
|
弱ルールの問題があるテーブル数 |
選択した日に、弱ルールのチェックが 合格 以外のステータスで完了したテーブルの数です。これには、しきい値違反とシステムエラーが含まれます。 赤色異常テーブル数：選択した日に弱ルールのクリティカルしきい値に違反したテーブルの数です。 オレンジの異常テーブル数：選択した日に弱ルールの警告しきい値に違反したテーブルの数です。 |
|
|
[ルール] |
データ品質ルールの総数 |
選択した日現在で、現在のワークスペースに作成されたルールの総数です。 |
|
問題のあるルール数 |
選択した日に、チェックインスタンスが 合格 以外のステータスで完了したルールの数です。これには、しきい値違反とシステムエラーが含まれます。 検出されたルール数：選択した日にチェックインスタンスが完了したルールの数です。完了したインスタンスのステータスには、合格、しきい値違反、またはシステムエラーがあります。 |
|
|
問題のある強制ルールの数 |
選択した日に、チェックインスタンスが 合格 以外のステータスで完了した強制ルールの数です。これには、しきい値違反とシステムエラーが含まれます。 赤色異常ルール数：選択した日に、チェックインスタンスが強制ルールのクリティカルしきい値に違反したルールの数です。 オレンジの異常ルール数：選択した日に、チェックインスタンスが強制ルールの警告しきい値に違反したルールの数です。 |
|
|
問題のある弱ルールの数 |
選択した日に、チェックインスタンスが 合格 以外のステータスで完了した弱ルールの数です。これには、しきい値違反とシステムエラーが含まれます。 赤色異常ルール数：選択した日に、チェックインスタンスが弱ルールのクリティカルしきい値に違反したルールの数です。 オレンジの異常ルール数：選択した日に、チェックインスタンスが弱ルールの警告しきい値に違反したルールの数です。 |
品質チェックのモニタリング
ルールチェック結果の傾向と分布を表示します。
インスタンスの傾向分析
ルールチェック結果の傾向を示します。統計は 日単位 または 時間単位 で表示できます。また、表示をフィルタリングして、すべて、強制ルール、または ソフトルール の傾向を表示することもできます。
インスタンスの実行ステータス
選択した日付のルールチェック結果の分布を示します。また、表示をフィルタリングして、すべて、強制ルール、または ソフトルール のステータス分布を表示することもできます。実行ステータスには、以下が含まれます。
-
合格：チェックは正常に実行され、その結果は品質のしきい値を満たしました。
-
強制ルールの赤色異常：強制ルールのクリティカルしきい値に違反しました。
-
強制ルール異常 (橙色)：強制ルールの警告しきい値に違反しました。
-
ソフトルールの赤色異常：弱ルールのクリティカルしきい値に違反しました。
-
ソフトルール オレンジ 異常：弱ルールの警告しきい値に違反しました。
-
検証に失敗しました。：チェック対象の値を取得できなかったため、チェックの実行に失敗しました。
上位の品質問題
選択した時間範囲内で、ルール問題の数によってテーブルをランク付けし、TOP 品質問題表 と [品質問題があるテーブルのオーナー] を表示します。右上隅の [詳細を表示] をクリックして [実行記録] ページに移動すると、テーブルのチェック履歴を確認し、チェックの詳細を表示し、問題を解決できます。
品質ルールのオーナーは、関連するテーブルパーティションのオーナーです。このオーナーは、通常、パーティションフィルター式を作成したユーザーです。
品質設定の分析
テーブルに対するデータ品質ルールの全体的なカバレッジを、次のディメンションで表示します：[品質ルールが設定されたテーブル数]-資産比率、品質ルールが構成されていません。-テーブル数、品質ルールが有効化されていません-テーブル数、関連スケジューリング構成なし-テーブル数、および アラートの通知先が設定されていません。-テーブル数。また、操作 列の 詳細を表示 をクリックして、各テーブルのルール設定詳細を表示することもできます。上部には5つのサマリーメトリクスカードが表示され、その中には、品質ルールが設定されたデータテーブルの割合を示す [ルールが設定されたテーブルのアセット比率] カードが含まれます。以下のランキングテーブルには、[設定済みルール数]、[有効なルール数]、[スケジューリングに関連付けられたルール数]、[アラート受信者が設定されたルール数]、[過去30日間の問題のあるルール数] など、各テーブルの詳細が一覧表示されます。[詳細を表示] をクリックすると、単一テーブルの設定を表示できます。ディメンションは次のとおりです。
-
品質ルールが構成されていません。：データ品質ルールが設定されていないテーブルをカウントします。
説明このメトリクスは、現在 MaxCompute データソースに対してのみ統計が計算されます。
-
品質ルールが有効化されていません：ルールは設定されているが、有効になっているものがないテーブルをカウントします。
-
関連スケジューリング構成なし：スケジューリングノードに関連付けられていない品質ルールが設定されているテーブルをカウントします。スケジューリングの関連付けがないルールは、手動でトリガーされた場合にのみ実行されます。
-
アラートの通知先が設定されていません。：アラート受信者が設定されていない品質ルールが設定されているテーブルをカウントします。受信者がいない場合、問題が検出されても通知は送信されません。