すべてのプロダクト
Search
ドキュメントセンター

DataWorks:リアルタイム同期ノードのアラートルール設定のベストプラクティス

最終更新日:Jan 11, 2025

DataWorks では、Data Integration の個々のリアルタイム同期ノードと、フル同期および増量同期ソリューションによって生成されたリアルタイム同期ノードに対してアラートルールを設定できます。 アラートルールは、ノードの状態を監視するのに役立ちます。 このトピックでは、リアルタイム同期ノードのアラートルールで指定できるメトリックについて説明し、リアルタイム同期ノードのアラートルールを設定するためのベストプラクティスを提供します。

アラートルールで指定できるメトリック

オペレーションセンターでリアルタイム同期ノードのアラートルールを設定できます。 アラートのメトリックには、ステータス、ビジネス遅延、フェイルオーバー、DDL ステートメントでサポートされていない、DDL 通知、およびダーティデータが含まれます。 Metrics for alerting

メトリック 1:ステータス

アラートシナリオ設定推奨事項
このメトリックは、リアルタイム同期ノードのハートビートステータスを使用して、ノードが正常かどうかを判断します。
  • 重要なリアルタイム同期ノードすべてにこのメトリックを指定することをお勧めします。
  • ネットワークのジッターやその他の一時的な例外による誤検知を防ぐため、メトリックのしきい値を 3 分以上に設定することをお勧めします。

メトリック 2:ビジネス遅延

アラートの原則と使用シナリオ設定推奨事項
このメトリックは、リアルタイム同期ノードの通常のデータ転送速度がソースのデータ生成速度に追いつくことができるかどうかを確認します。 このメトリックは、リアルタイム同期ノードのデータ処理速度とソースのデータ生成速度の時間差を測定します。
  • このメトリックは、アラートのコアメトリックです。 重要なリアルタイム同期ノードすべてにこのメトリックを指定することをお勧めします。 Kafka データソースからデータを同期するために使用されるリアルタイム同期ノードの場合は、「累積メッセージ」メトリックを使用することをお勧めします。
  • ビジネス要件に基づいてメトリックのしきい値を指定できます。 ネットワークのジッターやソースによって生成される過剰なデータ量による誤検知を防ぐため、しきい値を分単位で設定することをお勧めします。

メトリック 3:累積メッセージ(Kafka データソースの場合のみ)

アラートの原則と使用シナリオ設定推奨事項
このメトリックは、Kafka データソースからデータを同期するために使用されるリアルタイム同期ノードでのみ使用できます。 このメトリックは、Kafka データソースとコンシューマーのオフセット差に基づいて、実行中のリアルタイム同期ノードの累積メッセージ数を測定します。Kafka データソースからデータを同期するために使用される重要なリアルタイム同期ノードすべてにこのメトリックを指定することをお勧めします。

メトリック 4:フェイルオーバー

アラートの原則と使用シナリオ設定推奨事項
このメトリックは、リアルタイム同期プロセスの再起動パフォーマンスを監視します。 再起動は、例外によってリアルタイム同期プロセスが終了したときに Data Integration 制御サービスによって実行されます。 これにより、同期プロセスの信頼性が向上します。ビジネス要件に基づいて、リアルタイム同期ノードにこのメトリックを指定できます。 このメトリックを使用すると、同期プロセスでフェイルオーバーが頻繁に発生するかどうかを確認できます。

メトリック 5:DDL ステートメントでサポートされていない(近日中に削除予定)

アラートの原則と使用シナリオ設定推奨事項
ソースとして使用されるデータソースの一部の DDL イベントタイプは、Data Integration のリアルタイム同期ノードではサポートされていません。 アラートルールを設定するときに、サポートされていない DDL イベントを無視する、DDL イベントに警告レベルのイベントとしてラベルを付ける、DDL イベントにクリティカルレベルのイベントとしてラベルを付けるなど、サポートされていない DDL イベントを処理するためのポリシーを設定できます。 このメトリックは、警告レベルまたはクリティカルレベルの DDL イベントが発生した場合に、リアルタイム同期ノードのアラートをトリガーします。このメトリックは削除予定の状態です。 代わりに DDL 通知メトリックを使用して、同じアラート要件を満たすことができます。 DDL 通知メトリックに基づくアラートは、警告レベルまたはクリティカルレベルの DDL イベントを監視するという要件を満たすことができます。

メトリック 6:DDL 通知

アラートの原則と使用シナリオ設定推奨事項
このメトリックは、指定されたタイプの DDL イベントが発生するかどうかを確認します。 指定されたタイプの DDL イベントが発生すると、システムはアラート通知を送信します。 このメトリックは、DDL イベントの処理用に設定されたポリシーから分離されています。DDL 通知メトリックに基づくアラートは、警告レベルまたはクリティカルレベルの DDL イベントを監視するという要件を満たすことができます。 DDL イベントを監視するアラートシナリオでは、このメトリックを使用することをお勧めします。

メトリック 7:ダーティデータ

アラートの原則と使用シナリオ設定推奨事項
このメトリックは、ダーティデータを識別するために使用されます。 リアルタイム同期の間にデータレコードを宛先に書き込めないと、そのデータレコードはダーティデータと見なされます。 ダーティデータが生成されるかどうかを監視する場合は、アラートルールでこのメトリックを指定できます。
  • デフォルトでは、リアルタイム同期ノードはダーティデータをサポートしていません。 したがって、アラートルールでこのメトリックを指定する必要はありません。 ダーティデータが生成されるかどうかを監視し、識別されたダーティデータを処理するためのポリシーがリアルタイム同期ノードに対して許容に変更されている場合にのみ、アラートルールでこのメトリックを指定できます。
  • ダーティデータを処理するためのポリシーが変更されると、宛先に書き込めなかったデータは破棄されます。 これにより、宛先のデータとソースのデータの間に不整合が生じます。 必要な場合を除き、ポリシーを変更しないことをお勧めします。

アラート通知方法

リアルタイム同期ノードに設定するアラートルールでは、メール、テキストメッセージ、DingTalk、webhook URL などのアラート通知方法がサポートされています。

メール

システムは、アラート受信者のメールアドレスにメールでアラート通知を送信します。 アラート受信者のメールアドレスは、DataWorks コンソールの [アラート連絡先] ページで指定できます。 アラート受信者にメールアドレスが指定されていない場合、システムは関連する Alibaba Cloud アカウントのメールアドレスにアラート通知を送信します。
説明 アラート通知のメールを表示する場合は、メールがスパムメールとして分類されていないかどうかを確認する必要があります。

テキストメッセージ

システムは、アラート受信者の電話番号にテキストメッセージでアラート通知を送信します。 アラート受信者の電話番号は、DataWorks コンソールの [アラート連絡先] ページで指定できます。 アラート受信者に電話番号が指定されていない場合、システムは関連する Alibaba Cloud アカウントの電話番号にアラート通知を送信します。

DingTalk

システムは、カスタムチャットボットを使用して、指定された DingTalk グループにテキスト形式でアラート通知を送信します。 [dingtalk ロボットトークン] フィールドにカスタムチャットボットのトークンを入力します。 複数のトークンを指定する場合は、カンマ(,)で区切ります。 また、[dingtalk グループ通知] の [有効にする] チェックボックスをオンにして、DingTalk グループメッセージの数が多いことによってアラート通知が見落とされるのを防ぐこともできます。
重要 DingTalk グループのカスタムチャットボットを追加した後、カスタムキーワードを指定する必要があります。 キーワードは、メッセージをフィルタリングするための唯一の条件です。 キーワードには DataWorks を含める必要があります。 キーワードは大文字と小文字が区別されます。 大文字と小文字が正しくないと、アラート通知は送信されません。 DingTalk チャットボットを使用してアラート通知を送信する方法については、このトピックの プラクティス:DingTalk グループにアラート通知を送信する セクションを参照してください。

Webhook

システムは、指定された webhook URL にテキスト形式でアラート通知を送信します。 [webhook URL] フィールドに、DataWorks と相互接続されている製品の webhook URL を入力します。 複数の webhook URL を指定する場合は、カンマ(,)で区切ります。
  • webhook URL ベースのアラート機能は、DataWorks Enterprise Edition でのみサポートされています。
  • webhook URL ベースのアラート機能は、中国(上海)、中国(成都)、中国(張家口)、中国(北京)、中国(杭州)、中国(深圳)、中国(香港)、ドイツ(フランクフルト)、シンガポールでサポートされています。
  • webhook URL ベースのアラート機能を使用してアラート通知を送信できるのは、WeCom または Lark のみです。

プラクティス:DingTalk グループにアラート通知を送信する

DingTalk チャットボットを追加し、チャットボットのトークンを取得する

説明 操作手順は、DingTalk のバージョンによって異なる場合があります。 次の手順は参考情報としてのみ提供されています。
  1. システムがアラート通知を送信する DingTalk グループに移動し、右上隅にある [グループ設定] アイコンをクリックします。
  2. [グループ設定] パネルで、[ボット] をクリックします。 パネルで、 をクリックします。
  3. [ロボット管理] パネルで、[ロボットを追加] をクリックします。
  4. [ロボット] ダイアログボックスで、[ロボットを追加] をクリックします。
  5. [追加するロボットを選択してください] セクションで、[カスタム] をクリックします。
  6. [ロボット] ダイアログボックスで、[追加] をクリックします。
  7. [ロボットを追加] ダイアログボックスで、パラメータを設定します。
    パラメータ説明
    チャットボット名カスタムチャットボットの名前。
    グループに追加チャットボットが追加される DingTalk グループ。 このグループは変更できません。
    カスタムキーワードカスタムキーワードを指定した後、メッセージは、指定されたキーワードの少なくとも 1 つが含まれている場合にのみ送信できます。 DataWorks をキーワードとして追加する必要があります。 このキーワードは大文字と小文字が区別されます。
    説明 最大 10 個のキーワードを指定できます。 メッセージは、指定されたキーワードの少なくとも 1 つが含まれている場合にのみ送信できます。
  8. 利用規約を読み、[<<dingtalk カスタムロボットサービス利用規約>> を読んで同意しました] を選択し、[完了] をクリックします。
  9. セキュリティ設定が完了したら、チャットボットの webhook URL をコピーし、[完了] をクリックします。
    重要 webhook URL は機密情報として扱ってください。 webhook URL が漏洩した場合、ビジネスが危険にさらされる可能性があります。

アラートルールを作成する

  1. リアルタイム同期ノードの リアルタイム同期ノードの [アラーム設定] ページに移動します。
    DataWorksコンソール にログオンします。[リアルタイム DI] ページの [オペレーションセンター] で、アラートルールを設定する対象のリアルタイム同期ノードを見つけ、ノードの [操作] 列にある [アラーム設定] をクリックします。Alarm settings page
    • アラームイベント: 発生したアラートイベントを表示します。
    • アラームルール: アラートルールを表示し、アラートルールを作成できます。
    ページに移動します。
  2. [アラームルール] タブをクリックし、[新しいルール] をクリックします。
  3. アラートルールを設定します。
    [新しいルール] ダイアログボックスで、名前や説明などのパラメータを設定します。 このプラクティスでは、アラート通知は DingTalk グループに送信されます。 次の設定に注意してください。
    • DingTalk[警告][クリティカル] に を選択します。
    • [dingtalk ロボットトークン] フィールドに DingTalk チャットボットのトークンを入力します。
    • 有効にする[dingtalk グループ通知] の チェックボックスをオンにします。
    重要
    • アラートルールの設定が完了すると、パラメータ設定は自動的に有効になります。
    • 次のメトリックを同時に指定し、ビジネス要件に基づいてメトリックのしきい値を設定することをお勧めします。
      • [ステータス] メトリックを使用して、ノードが想定どおりに実行されているかどうかを監視できます。
      • [ビジネス遅延] または [累積メッセージ] メトリックを使用して、データ転送速度がソースのデータ生成速度に追いつくことができるかどうかを監視できます。

アラートルールの設定がビジネス要件を満たしているかどうかを確認する

アラートルールを作成した後、[アラームルール] タブのルールの [操作] 列にある [テスト] をクリックして、アラートルールの設定がビジネス要件を満たしているかどうかを確認できます。