モニタリングルールは、Data Quality (DQC) の中核です。Data Quality を使用して、MaxCompute、E-MapReduce (EMR)、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for MySQL のデータを監視できます。このトピックでは、MaxCompute のモニターを設定する方法について説明します。
操作手順
ステップ 1:MaxCompute データソースの追加
[データソース] ページに移動します。
DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、[Management Center] をクリックします。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[管理センターに移動] をクリックします。
表示されるページの左側のナビゲーションウィンドウで、[データソース] をクリックします。 [データソース] ページが表示されます。
-
データソースの追加 をクリックして、MaxCompute データソースを追加します。詳細については、「MaxCompute コンピューティングリソースの関連付け」をご参照ください。
-
ページ左上隅の
アイコンをクリックし、 を選択します。 -
DataStudio ページの左側メニューで、コンピューティングリソースをクリックして、追加した MaxCompute コンピューティングリソースを関連付けます。
説明この例では、テストテーブルのデータは MaxCompute のパブリックデータセットのものを使用します。実際のビジネスデータのモニタリングを設定する際は、特定のニーズに基づいてモニターとモニタリングルールを作成する必要があります。
ステップ 2:テーブル品質詳細ページへの移動
-
ページ左上隅の
アイコンをクリックし、 を選択します。 -
左側メニューで、 をクリックします。
-
左側の データソース 一覧でデータベースを選択し、モニタリングルールを設定するテーブルを見つけ、操作 列のテーブル名または モニタリング設定 をクリックして テーブル品質の詳細 ページに移動します。
説明テーブル名を入力してテーブルを検索することもできます。検索では、テーブル名の最初の数文字に基づくあいまい検索が可能です。
ステップ 3:モニターの作成
-
テーブル品質の詳細 ページの ルール管理 タブで、品質モニタリングビュー の横にある
アイコンをクリックすると、品質モニタリングの作成 ページが開きます。 -
モニターのパラメーターを設定します。
説明テーブルのデータ検証要件に基づいてモニターを作成できます。モニターの作成方法の詳細については、「ルール設定:テーブル別」をご参照ください。
[モニターの作成] ページで、[モニター名] (例:
mc table row count greater than 2000 monitor) を設定し、[監視対象] でターゲットテーブル (例:mc_test_tb) を選択し、[データ範囲] で [パーティションで範囲を設定] を選択して、パーティション式にds=${yyyymmdd-1}を入力し、[説明] にモニターの説明を入力し、[トリガー方法] で [手動] を選択し、[リソースグループ] で目的のリソースグループを選択し、[問題処理ポリシー] を [アラート] に設定し、[モニタリングルールの選択] セクションで [一括選択] をクリックしてルールを追加し、[品質アラートのサブスクライブ (メール)] を選択してから、[保存] をクリックします。 -
保存 をクリックします。
ステップ 4:モニタリングルールの設定
-
テーブル品質の詳細 ページの ルール管理 タबで ルールの作成 をクリックすると、ルール設定ページが開きます。
-
この例では、組み込みテンプレートを使用してモニタリングルールを作成します。
説明テーブルの実際の要件に基づいてルールを作成できます。ルールの作成方法の詳細については、「ルール設定:テーブル別」をご参照ください。
左側の [システムテンプレート] 一覧で、[テーブルの行数] カテゴリを展開し、[テーブルの行数、固定値] テンプレートを選択します。右側のフォームで、[ルールテンプレート] を [テーブルの行数、固定値] に設定し、[ルール範囲] を
mc_test_tbに設定し、[比較方法] で [手動] を選択し、[監視しきい値] を正常しきい値 <=2000および赤色しきい値 >2000に設定し、[ステータス] を有効にし、[重要度] で [弱いルール] を選択します。 -
ステップ 3 で作成したモニターにモニタリングルールを追加します。
[モニターに追加] を選択し、ドロップダウンリストからステップ 3 で作成したモニターを選択し、必要に応じて [このモニターのアラートサブスクライバーとして自分を追加する] を選択してから、[OK] をクリックします。
-
OK をクリックします。
ステップ 5:ルール実行のテスト
-
テーブル品質の詳細 ページの 品質モニタリング タブで、作成したモニターを見つけ、テスト 列の [テスト] をクリックします。
-
テスト実行 ダイアログボックスで、タイムスタンプ範囲 と スケジュール時刻 パラメーターを確認し、テスト実行 をクリックします。
ダイアログボックスには、[モニター] 名と [有効なルールの数] も表示されます。
-
起動が完了しました。 が表示されたら、詳細を表示 をクリックしてテスト実行の詳細な結果を表示できます。
この例では、MaxCompute テストテーブルには 2,000 行を超えるデータが含まれています。その結果、品質チェックで異常が検出され、赤色で示されます。
[品質収集と比較ステータスの結果] セクションでは、チェックステータスは [異常]、問題処理方法は [アラート] となり、チェック結果ではサンプル値が 65000000、チェック値が 65000000 で、設定されたしきい値 2000 をはるかに超えていることを示しています。
-
テストルールが正常にトリガーされたことを確認した後、モニターを修正し、トリガー方式 を 本番スケジューリング トリガー に変更できます。その後、DataWorks オペレーションセンターで指定されたスケジューリングノードにモニターを関連付けることができます。ノードの実行が完了すると、このモニター配下の品質ルールが自動的にトリガーされます。
ステップ 6:アラートのサブスクリプションの設定
-
テーブル品質の詳細 ページの 品質モニタリング タブで、作成したモニターを見つけ、操作 列の をクリックします。
-
サブスクリプション方式 と 権限付与オブジェクト を設定した後、保存 をクリックします。
関連ドキュメント
-
単一テーブルのモニタリングルールとモニターの設定方法の詳細については、「ルール設定:テーブル別」をご参照ください。
-
テーブルのモニタリングルールとモニターを一括で設定することもできます。詳細については、「テンプレートによるルール設定」をご参照ください。
-
モニターの実行詳細を表示するには、「品質モニターの実行詳細」をご参照ください。