DataWorks の Data Integration では、アラートルールを設定して、リアルタイム同期タスクのステータス、および完全同期と増分同期のリアルタイム同期フェーズを監視できます。このトピックでは、これらのアラートルールで利用可能なメトリクスと、ベストプラクティスの例について説明します。
アラートルールのメトリクス
DataWorks の オペレーションセンターで、リアルタイム同期タスクのアラートルールを設定できます。利用可能なアラートメトリクスには、ステータス、ビジネスレイテンシー、フェールオーバー、サポートされていない DDL ステートメント、DDL 通知、ダーティデータがあります。新しいルールを作成する際には、名前、説明、しきい値、通知間隔、WARNING、CRITICAL、受信者 (DingTalk 以外) などのパラメーターも設定する必要があります。
メトリクス1:ステータス
|
説明 |
設定に関する推奨事項 |
|
ステータスメトリクスは、タスクのハートビートを使用して、タスクが正常に機能しているかどうかを判断します。 |
|
メトリクス2:ビジネスレイテンシー
|
説明 |
設定に関する推奨事項 |
|
ビジネスレイテンシーアラートは、同期レートがソースでのデータ生成レートに追いついているかどうかを判断します。このメトリクスは、ソースでのデータ作成からタスクによる処理までの時間差を測定します。 |
|
メトリクス3:メッセージ蓄積数 (Kafka ソースのみ)
|
説明 |
設定に関する推奨事項 |
|
このメトリクスは、Kafka をソースとして使用するリアルタイム同期タスクでのみ利用可能です。Kafka のソースオフセットと最後に消費されたオフセットを比較することで、コンシューマーラグを測定します。 |
Kafka をソースとして使用するすべての重要なリアルタイム同期タスクに対して、このアラートを設定してください。 |
メトリクス4:フェールオーバー
|
説明 |
設定に関する推奨事項 |
|
フェールオーバーイベントは、リアルタイム同期プロセスが予期せず終了したときに発生します。プロセスの信頼性を高めるために、Data Integration 制御サービスは自動的にプロセスを再起動して回復を試みます。 |
タスクのフェールオーバーを追跡する必要がある場合は、このアラートを設定することで、頻繁な再起動の通知を受け取ることができます。これは、根本的な安定性の問題を示している可能性があります。 |
メトリクス5:サポートされていない DDL ステートメント (非推奨)
|
説明 |
設定に関する推奨事項 |
|
Data Integration のリアルタイム同期は、ソースシステムからの一部の DDL イベントをサポートします。サポートされていない DDL イベントについては、DDL 設定ページで「無視」、「警告」、「クリティカル」などの処理ポリシーを設定できます。警告またはクリティカルの重要度を持つ DDL イベントが発生すると、「サポートされていない DDL ステートメント」メトリクスがアラートをトリガーします。 |
このメトリクスは非推奨です。この機能を含む「DDL 通知」メトリクスを代わりに使用してください。 |
メトリクス6:DDL 通知
|
説明 |
設定に関する推奨事項 |
|
「DDL 通知」メトリクスを使用すると、DDL 処理ポリシーとは無関係に、特定の DDL タイプを監視できます。監視対象の DDL イベントが発生すると、アラートがトリガーされます。 |
このメトリクスには、[Not Supported by DDL Statements] アラートの機能が含まれています。すべての DDL 関連の監視およびアラートシナリオで、このメトリクスを使用することを推奨します。 |
メトリクス7:ダーティデータ
|
説明 |
設定に関する推奨事項 |
|
リアルタイム同期中に、宛先への書き込みに失敗したデータはダーティデータとして分類されます。ダーティデータが生成されたときにアラートを受け取るには、このメトリクスを設定してください。 |
|
アラート通知方法
DataWorks は、リアルタイム同期タスクのアラートに対して、メール、SMS メッセージ、 DingTalk、Webhook など複数の通知方法をサポートしています。
メール
DataWorks は、DataWorks コンソールの [アラート連絡先] ページで設定された受信者のメールアドレスにメールアラートを送信します。アドレスが設定されていない場合、DataWorks は関連する Alibaba Cloud アカウントのメールアドレスにアラートを送信します。
アラートメールを確認する際は、迷惑メールフォルダーに振り分けられていないか確認してください。
SMS メッセージ
DataWorks は、DataWorks コンソールの [アラート連絡先] ページで設定された受信者の電話番号に SMS メッセージアラートを送信します。電話番号が設定されていない場合、DataWorks は関連する Alibaba Cloud アカウントの電話番号にアラートを送信します。
DingTalk
アラート通知は、カスタム DingTalk チャットボットを介して、指定された DingTalk グループにテキストメッセージとして送信されます。[DingTalk Robot Token] フィールドにチャットボットのトークンを入力します。複数のトークンはカンマで区切ります。[DingTalk Group Notification] 機能を有効にして、アラートがすべてのグループメンバーに表示されるようにすることもできます。
カスタム DingTalk チャットボットをグループに追加した後、カスタムキーワードを設定する必要があります。他のフィルタリング方法はサポートされていません。キーワードとして DataWorks を追加する必要があります (大文字と小文字を区別します)。そうしないと、グループはアラート通知を受信しません。詳細な手順については、「ユースケース:DingTalkグループへのアラート通知の送信」をご参照ください。
Webhook
アラート通知は、指定された Web アドレスに送信されます。対象製品の Webhook URL を [Webhook URL] フィールドに入力します。複数の Webhook はカンマで区切ります。
-
利用可能なエディション:Webhook 機能は、DataWorks Enterprise Edition でのみ利用可能です。
-
サポートされる通知先:WeCom および Lark。
DingTalkグループへのアラート送信
DingTalkチャットボットの追加
以下の手順は、お使いの DingTalk のバージョンによって若干異なる場合があります。
-
アラートの対象となる DingTalk グループを開き、右上隅にある [グループ設定] アイコンをクリックします。
-
[ボット] をクリックします。
-
[ボット] ページで、[ロボットを追加] をクリックします。
-
[ロボット管理] ページで、[ロボットを追加] をクリックします。
-
[追加するロボットを選択してください] ページで、[Custom] をクリックします。
-
[Custom] ダイアログボックスで、[Add] をクリックします。
-
[ロボットを追加] ダイアログボックスで、以下のパラメーターを設定します。
パラメーター
説明
[チャットボット名]
カスタムチャットボットの表示名。
[グループに追加]
チャットボットが追加される DingTalk グループ。設定後は変更できません。
[Custom Keyword]
キーワードを設定すると、チャットボットは指定されたキーワードのいずれかを含むメッセージのみを投稿します。キーワードとして DataWorks を追加する必要があります (大文字と小文字を区別します)。
説明最大 10 個のキーワードを設定できます。メッセージを正常に送信するには、メッセージにキーワードの少なくとも 1 つが含まれている必要があります。
-
[『DingTalk カスタムロボット利用規約』に同意する] を選択し、[Completed] をクリックします。
-
セキュリティ設定を完了したら、チャットボットの Webhook をコピーし、[Completed] をクリックします。
重要セキュリティリスクを避けるため、Webhook URL は機密情報として扱ってください。
アラートルールの作成
-
リアルタイム同期タスクのアラート設定ページに移動します。
DataWorks コンソールにログインします。[Operation Center]の [Real-time Synchronization Task] ページで、アラートを設定する同期タスクを見つけ、Alert Settings 列の [Alert Settings] をクリックします。
-
[Alert Events] タブには、トリガーされたアラームイベントが表示されます。
-
[Alert Rules] タブには、既存のアラートルールが表示され、新しいルールを作成できます。
-
-
[Alert Rules] タブをクリックし、[Create Rule] をクリックします。
-
アラートルールを設定します。
画面の指示に従って、ルール名、説明、およびその他のパラメーターを設定します。このユースケースでは、アラートを DingTalk グループに送信します。主要なパラメーターは次のとおりです。
-
WARNING と CRITICAL: [DingTalk] を選択します。
-
[DingTalk Robot Token]:DingTalk チャットボットのトークンを入力します。
-
[DingTalk Group Notification]: Enable チェックボックスをオンにします。
重要-
アラートルールは設定後に自動的に有効になります。
-
本番環境では、次の 2 つのアラートメトリクスを設定することを推奨します。
-
[Task Status] メトリクスを使用して、タスクが正常に実行されているかどうかを監視します。
-
[Business Latency] または [Accumulated Messages] メトリクスを使用して、同期スループットがソースでのデータ生成レートに追いついているかどうかを監視します。
-
-
アラートルール設定の検証
アラートルールを追加した後、アラートルールページで [Test] をクリックして、設定が正しいことを確認できます。