重要なノードが期待どおりに完了するように、ベースライン管理機能を使用してノードをベースラインに追加し、ベースラインのコミット済み完了時刻を指定できます。DataWorks は、ノードのステータスに基づいてベースライン内のノードの推定完了時刻を計算します。DataWorks が、ベースライン内のノードがコミット済み完了時刻までに完了できないと推定した場合、アラート通知が送信されます。このトピックでは、ベースラインを作成および管理する方法について説明します。
背景情報
インテリジェントベースラインを使用すると、DataWorks はインテリジェントベースライン内のノードが期待どおりに完了するのを妨げる例外を特定し、できるだけ早い機会に例外について通知できます。これにより、ベースライン内のノード間の依存関係が複雑なシナリオで、取得したいデータが期待どおりに生成されることが保証されます。詳細については、「概要」をご参照ください。
ベースラインが作成され有効化されると、ベースラインは翌日に有効になります。自動トリガーインスタンス ページに移動して、ベースラインの実行結果を表示できます。
制限事項
エディション:
DataWorks Standard Edition 以上のみがベースライン管理機能をサポートしています。DataWorks Basic Edition を使用している場合は、ベースライン管理機能を使用する前に DataWorks Standard Edition 以上のエディションにアップグレードする必要があります。詳細については、「DataWorks のエディション別の機能」をご参照ください。
権限:
ワークスペース管理者またはテナント管理者ロールが割り当てられている Alibaba Cloud アカウントと RAM ユーザーのみがベースラインの作成に使用できます。
テナント管理者とベースラインオーナーのみが、ベースラインの有効化、無効化、削除、または変更に使用できます。
ユーザーが前述の操作を実行する必要がある場合は、ユーザーにロールを割り当てることができます。詳細については、「ワークスペースにメンバーを追加する」をご参照ください。
アラート通知方法:
DataWorks は、[メール]、[ショートメッセージ]、[電話]、[DingTalk チャットボット]、[Webhook URL] などのアラート通知方法をサポートしています。次の表で説明されている、サポートされているアラート通知方法に関する制限に注意してください。
アラート通知方法
サポートされているリージョン
サポートされている DataWorks エディション
説明
ショートメッセージ
すべてのリージョン
DataWorks Standard Edition 以上のエディション
他のリージョンでこのメソッドを使用する場合は、次の手順を参照してください: アプリケーションのリンク をクリックするか、販売前または販売後のサービスのために DataWorks DingTalk グループに参加できます。DingTalk グループで DingTalk チャットボットまたは勤務中の技術担当者に直接連絡できます。次の図は、DataWorks DingTalk グループの QR コードを示しています。
電話
すべてのリージョン
すべてのエディション
中国本土の電話番号を使用して送信されるアラート通知のみがサポートされています。
Webhook
すべてのリージョン
DataWorks Basic Edition
グループ Webhook URL を使用して、DingTalk、Lark グループ、または WeCom にアラート通知を送信できます。
DataWorks Enterprise Edition
DataWorks Basic Edition でサポートされている機能に加えて、カスタム Webhook URL を構成してアラート通知を受信することもできます。
説明カスタム Webhook ベースのメッセージ送信サービスを使用する場合は、「インテリジェントモニタリング: カスタム Webhook を使用して送信されるアラートメッセージのフォーマット」を参照して設定を構成してください。構成が完了したら、Alibaba Cloud DataWorks の技術サポートに連絡して、さらなる処理を依頼してください。
説明RAM ユーザーとしてショートメッセージまたは電話で通知を受けたい場合は、アラート連絡先ページで RAM ユーザーをアラート連絡先として追加する必要があります。ノードの実行中にエラーが報告された場合、DataWorks は指定された連絡先にアラート通知を送信します。詳細については、「アラート連絡先を構成および表示する」をご参照ください。
ベースラインの作成
オペレーションセンターページに移動します。
オペレーションセンターページの左側のナビゲーションウィンドウで、 を選択します。
ベースラインを作成します。
[ベースライン] タブで、[+ ベースラインの作成] をクリックします。
[ベースラインの作成] パネルで、ベースラインの基本情報を構成します。
次の表にパラメーターを説明します。
パラメーター
説明
ベースライン名
ベースラインの名前。
ワークスペース
ベースラインに追加するノードのワークスペース。
説明[ノード] を選択してベースラインに追加する場合、選択した [ワークスペース] に属するノードとワークフローのみを選択できます。
オーナー
ベースラインオーナーの名前または ID。
ベースラインタイプ
ベースラインのタイプ。有効な値:
日レベルのベースライン: DataWorks は日単位でベースライン内のノードを監視します。日単位でスケジュールされるノードにはこの値を選択します。
時間レベルのベースライン: DataWorks は時間単位でベースライン内のノードを監視します。時間単位でスケジュールされるノードにはこの値を選択します。
ノード
ベースラインに追加するノード。
ノードをベースラインに追加する操作は、実際には現在のノードをあるベースラインから別のベースラインに移行することです。
ノード: ノードの名前または ID を入力し、右側の [追加] をクリックします。ベースラインに複数のノードを追加できます。
ワークフロー: ワークフローの名前または ID を入力し、右側の [追加] をクリックします。デフォルトでは、ワークフローをベースラインに追加すると、ワークフロー内のすべてのノードがベースラインに追加されます。
説明ワークフロー内のすべてのノードではなく、ワークフロー内の最も子孫のノードのみをベースラインに追加することをお勧めします。これにより、最も子孫のノードのデータ生成に影響を与えるすべての先祖ノードが監視されます。
優先度
ベースラインの優先度。値が大きいほど、ベースラインの優先度が高くなり、ベースライン内のノードの優先度も高くなります。スケジューリングリソースが不足している場合、優先度の高いベースラインが優先的にスケジュールされます。構成された優先度は、翌日に実行されるようにスケジュールされた自動トリガーノードインスタンスに有効になります。
説明ODPS ノード:
ODPS ノードの優先度は、次の条件が満たされている場合、MaxCompute 計算タスクの優先度にマッピングされます:
MaxCompute プロジェクトで優先度機能が有効になっている。
MaxCompute プロジェクトはサブスクリプション計算リソースを使用している。
MaxCompute ジョブの優先度は、次の数式に基づいて計算されます: 9 - DataWorks のベースラインの優先度。
E-MapReduce (EMR) ノード:
EMR ノードが属するベースラインと、EMR ノードの実行に使用される YARN キューとの間の優先度マッピングを指定して、YARN キューの最終的な優先度を調整できます。YARN キューの優先度は、EMR ノードが優先的にスケジュールされるかどうかを決定します。詳細については、「ベースラインの優先度と YARN キューの優先度の間のマッピングを構成する」をご参照ください。
ノードの優先度はベースラインの優先度の影響を受けます。ノードがベースラインの監視範囲に取り込まれると、その優先度はベースラインの優先度によって決定され、その範囲内のすべての関連ノードとその上流ノードに上向きに伝播されます。
ノードが異なる優先度を持つ複数のベースラインの出力に影響する場合、ノードの優先度は、影響を受ける最も優先度の高いベースラインによって決定されます。
ベースラインの優先度は、サイクルをまたぐ依存関係を持つ上流ノードには影響しません。
推定完了時刻
ベースラインの推定完了時刻。この時刻は、過去の期間 (通常は 10 日間) におけるベースライン内のノードの平均完了時間に基づいて計算されます。推定完了時刻がベースラインのアラート時刻より遅い場合、ベースラインアラートがトリガーされます。ベースラインのアラートメカニズムについては、「付録: ベースラインのアラートメカニズム」をご参照ください。
説明既存データが不十分な場合、次のメッセージが表示されます: [既存データがないため、完了時刻を推定できません]。
コミット済み完了時刻
ベースライン内のノードが完了することをコミットした期限。DataWorks は、このパラメーターの値に基づいてベースラインのアラート時刻を計算します。推定完了時刻に基づいてこのパラメーターを構成します。
アラート時刻がベースラインの推定完了時刻より後になるようにしてください。説明ベースラインのアラート時刻は、次の数式を使用して計算されます:
アラート時刻 = コミット済み完了時刻 - アラートマージンしきい値。推定完了時刻がアラート時刻より遅い場合、アラート通知が送信されます。たとえば、ベースラインのコミット済み完了時刻が03:30に設定され、アラートマージンしきい値が 10 分に設定されているとします。DataWorks がベースライン内のノードが03:20までに完了できないと推定した場合、アラート通知が送信されます。時間レベルのベースラインの場合、時間レベルのインスタンスを指定し、データ生成を保証するためにインスタンスのコミット済み完了時刻を指定する必要があります。
ベースライン内のノードの実行時間は 24 時間を超える場合があります。そのため、システムでは、コミット済み完了時刻を 2 日以内の時刻値 (
00:00 から 47:59) に設定できます。ベースライン内のノードの実行時間が 1 日を超える場合、ベースラインのコミット済み完了時刻を翌日の特定の時点に設定できます。たとえば、ノードの実行時間が 1.5 日の場合、コミット済み完了時刻を36:00に設定できます。
アラートマージンしきい値
アラート時刻とベースラインのコミット済み完了時刻との間の時間間隔。ベースライン内のノードのコミット済み完了時刻と推定完了時刻の間隔は、少なくとも 5 分でなければなりません。そうでない場合、アラートが頻繁にトリガーされます。ベースライン内のノードが完了するのに必要な時間に基づいて、アラートマージンしきい値を構成することをお勧めします。詳細については、「ベースラインに適切なコミット済み時点と適切なアラートマージンしきい値を構成する」をご参照ください。
ベースラインのアラート詳細を構成します。
アラートの有効化のオン/オフを切り替えることで、ベースラインのアラート通知機能を有効にするかどうかを指定できます。アラートの有効化をオンにすると、ベースライン内のノードのデータが期待どおりに生成されない場合にベースラインアラートを送信するために使用される通知方法を指定できます。また、ベースラインのデータ生成に影響を与えるノードまたはその先祖ノードが遅延または実行に失敗した場合にイベントアラート通知を送信するために使用される方法も指定できます。ベースラインのアラートを構成する前に、ベースラインのアラートメカニズムを学習することをお勧めします。詳細については、このトピックの「付録: ベースラインのアラートメカニズム」セクションをご参照ください。
アラート通知機能を有効にします。
アラート通知機能を有効にすると、DataWorks はアラート条件に基づいて問題を検出し、構成されたアラート通知方法を使用してアラート通知を送信します。
アラート通知方法を選択します。
アラート通知機能を有効にした後、ビジネス要件に基づいてアラート通知方法を選択できます。重要なノードには、ベースラインアラートとイベントアラートを構成することをお勧めします。
重要ベースラインおよびイベントアラームは、ビジネス日付が昨日または一昨日のサイクルインスタンスのみを監視します。この期間外のインスタンスはアラームをトリガーしません。
アラート通知を受信できない場合は、「オペレーションセンターでアラートルールを構成した後、アラート通知を受信できない場合はどうすればよいですか？」を参照して問題をトラブルシューティングしてください。
ベースラインアラート
パラメーター
説明
アラート構成の有効化
ベースラインを有効にするかどうかを指定します。
説明アラート通知機能を無効にすると、ベースラインのアラート通知は送信されません。ただし、ベースラインが有効になっている場合、ベースラインインスタンスは期待どおりに生成され、ベースラインの優先度は引き続き有効です。
アラート通知方法
アラートを送信するために使用されるアラート通知方法。システムは、[メール]、[ショートメッセージ]、[電話] などの構成されたアラート通知方法に基づいて、ベースラインオーナー、指定された勤怠表の当日の勤務中のエンジニア、またはその他の指定された受信者にアラート通知を送信できます。勤怠表の構成方法については、「勤怠表の作成と管理」をご参照ください。
システムは、[DingTalk グループチャットボット] または [Webhook URL] に基づいて、DingTalk、WeCom、Lark などのアプリケーションにアラート通知を送信することもできます。DingTalk チャットボットの構成方法については、「シナリオプラクティス: DingTalk グループにアラート通知を送信する」をご参照ください。
説明[連絡先情報の確認] または [テストメッセージの送信] をクリックして、アラート通知が正常に送信されるかどうかを確認できます。
[アラート通知方法] パラメーターで [電話] を選択できるのは、DataWorks Professional Edition 以上のエディションのみです。
アラート通知方法として [電話] を選択した場合、DataWorks は受信者が頻繁にアラートコールを受信しないようにアラートコールをフィルターします。受信者は 20 分に最大 1 回のアラートコールを受信できます。その他のアラートコールはスペックダウンされ、ショートメッセージに変換されます。
最大アラート数
送信できるアラート通知の最大数。最大数を超えると、アラート通知は送信されません。
最小アラート間隔
アラート通知が送信される最小間隔。
アラートのサイレント期間
DataWorks は、このパラメーターで指定された期間中はアラート通知を送信しません。
たとえば、このパラメーターをベースラインに対して
00:00から08:00に設定し、この期間内にベースライン内のノードで例外が発生した場合、DataWorks はベースラインまたはイベントのアラート通知を送信しません。08:00 以降も例外が続く場合、DataWorks はアラート通知を送信します。イベントアラート
パラメーター
説明
イベントタイプ
アラートをトリガーするイベントのタイプ。有効な値:
エラー: ベースライン内のノードが実行に失敗したことを示します。
遅延: ノードが完了するのに必要な時間が、過去の期間にノードが完了するのに必要な平均時間よりも大幅に長いことを示します。
アラート通知方法
アラートを送信するために使用されるアラート通知方法。システムは、[メール]、[ショートメッセージ]、[電話] などの構成されたアラート通知方法に基づいて、ノードオーナー、指定された勤怠表の当日の勤務中のエンジニア、またはその他の指定された受信者にアラート通知を送信できます。勤怠表の構成方法については、「勤怠表の作成と管理」をご参照ください。
システムは、[DingTalk グループチャットボット] または [Webhook URL] に基づいて、DingTalk、WeCom、Lark などのアプリケーションにアラート通知を送信することもできます。DingTalk チャットボットの構成方法については、「シナリオプラクティス: DingTalk グループにアラート通知を送信する」をご参照ください。
説明[連絡先情報の確認] または [テストメッセージの送信] をクリックして、アラート通知が正常に送信されるかどうかを確認できます。
[アラート通知方法] パラメーターで [電話] を選択できるのは、DataWorks Professional Edition 以上のエディションのみです。
アラート通知方法として [電話] を選択した場合、DataWorks は受信者が頻繁にアラートコールを受信しないようにアラートコールをフィルターします。受信者は 20 分に最大 1 回のアラートコールを受信できます。その他のアラートコールはスペックダウンされ、ショートメッセージに変換されます。
最大アラート数
送信できるアラート通知の最大数。最大数を超えると、アラート通知は送信されません。
最小アラート間隔
アラート通知が送信される最小間隔。
アラートのサイレント期間
DataWorks は、このパラメーターで指定された期間中はアラート通知を送信しません。
たとえば、このパラメーターをベースラインに対して
00:00から08:00に設定し、この期間内にベースライン内のノードで例外が発生した場合、DataWorks はベースラインまたはイベントのアラート通知を送信しません。08:00 以降も例外が続く場合、DataWorks はアラート通知を送信します。[OK] をクリックします。ベースラインが作成されます。
説明アラート通知機能を無効にすると、ベースラインのアラート通知は送信されません。ただし、ベースラインが有効になっている場合、ベースラインインスタンスは期待どおりに生成され、ベースラインの優先度は引き続き有効です。
DataWorks コンソールにログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、 を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[オペレーションセンターへ移動] をクリックします。
ベースラインへのノードの追加
ノードは 1 つのベースラインにのみ追加できます。たとえば、ノード A がベースライン A に追加されている場合、ベースライン B を作成してノード A をベースライン B に追加すると、ノード A はベースライン A から削除され、ベースライン B に追加されます。
有効になっているベースラインにノードが含まれていない場合、ベースラインは空のベースラインになり、空のベースライン状態のベースラインインスタンスが生成されます。空のベースラインの詳細については、「ベースラインが空のベースライン状態になるのはなぜですか？」をご参照ください。
次のいずれかの方法を使用して、ノードをベースラインに追加できます:
[ベースライン] タブで、[+ ベースラインの作成] をクリックしてベースラインを作成し、ノードをベースラインに追加します。
[自動トリガータスク] ページで、目的のノードを見つけ、[アクション] 列で を選択して、ノードをベースラインに追加します。
説明この方法を使用して複数のノードをベースラインに追加する場合、ノードは新しいベースラインにのみ追加できます。既存のベースラインにノードを追加することはできません。
単一ノードをベースラインに追加する
ベースラインに追加するノードを見つけ、[アクション] 列で を選択します。
複数のノードをベースラインに追加する
ベースラインに追加する複数のノードを選択し、ページの下部にある を選択します。
ベースラインの管理
[ベースライン] タブでは、[オーナー]、[ワークスペース]、[ベースライン名]、[優先度] などのフィルター条件を指定して目的のベースラインを検索し、ベースラインに対して次の操作を実行できます:
詳細を 表示： [詳細を表示] をクリックすると、ベースラインの基本情報を表示できます。
[変更]: [変更] をクリックしてベースラインを変更します。
表示 変更履歴: 「変更履歴の表示」をクリックすると、ベースラインの過去の変更履歴を表示できます。
[有効化] または [無効化]: [有効化] または [無効化] をクリックして、ベースラインを有効または無効にします。ベースラインを有効にした後でのみ、ベースラインのインスタンスを生成できます。ベースラインが有効になっている場合、ベースラインインスタンスは毎日生成されます。[ベースラインインスタンス] タブで、毎日のベースラインインスタンスの詳細を表示できます。詳細については、「ベースラインインスタンスの管理」をご参照ください。
[削除]: [削除] をクリックしてベースラインを削除します。
付録: ベースラインのアラートメカニズム
作成したベースラインが有効になっており、ベースラインのアラートスイッチをオンにすると、ベースラインアラートがトリガーされたときにシステムからアラート通知が送信されます。ベースラインの [推定完了時刻] に基づいて、ベースラインの [アラートマージンしきい値] と [コミット済み完了時刻] を構成できます。DataWorks は、直近 10 日間のノードの平均完了時間に基づいて、監視範囲内の各ノードの最新の完了時刻を推定できます。DataWorks は、ベースライン内のノードのステータスも監視します。DataWorks が、ベースライン内のノードが、コミット済み完了時刻からアラートマージンしきい値を引いて得られるアラート時刻までに実行を完了できないと予測した場合、DataWorks は、ベースラインを構成するときに指定したアラート連絡先にアラート通知を送信します。
指定したアラートマージンしきい値とコミット済み完了時刻が不適切な場合、トリガーされたアラートが期待どおりにならないことがあります。詳細については、「ベースラインに適切なコミット済み時点と適切なアラートマージンしきい値を構成する」をご参照ください。
ベースライン内のノードが実行される前のベースラインのアラートルール:
説明システムは、当日のベースラインの監視範囲内の各ノードの完了時刻を推定できます。完了時刻は、直近 10 日間の監視範囲内のノードの平均完了時間に基づいて推定されます。システムは、ベースラインのアラート時刻までに実行を完了できないノードを予測し、その日にベースライン内のノードが実行を開始する前に、できるだけ早い機会に指定されたアラート連絡先に例外情報を含むアラート通知を送信できます。ベースラインは、ベースライン内のノード間の依存関係が複雑で、依存関係が頻繁に変更されるシナリオで、例外を特定し、例外に関するアラート通知をできるだけ早い機会に受信するのに役立ちます。
ベースライン内のノードの推定完了時刻がベースラインのアラート時刻より遅い場合、ベースラインアラートがトリガーされます。[ベースライン] タブでベースラインの推定完了時刻を表示できます。詳細については、このトピックの「ベースラインの作成」セクションをご参照ください。
ベースライン内のノードの先祖ノードの推定完了時刻がベースラインのアラート時刻より遅い場合、ベースラインアラートがトリガーされます。先祖ノードの推定完了時刻は、直近 10 日間の先祖ノードの平均完了時間に基づいて計算されます。
ベースライン内のノードが実行中のベースラインのアラートルール:
ベースライン内のノードの完了時刻がベースラインのアラート時刻より遅い場合、ベースラインアラートがトリガーされます。
次のステップ
ベースラインを作成した後、次の操作を実行できます:
ベースラインインスタンスの表示: ベースラインが有効になっている場合、ベースラインインスタンスは毎日生成されます。[ベースラインインスタンス] タブでベースラインの実行詳細を表示できます。
EMR ノード: EMR ノードが属するベースラインと、EMR ノードの実行に使用される YARN キューとの間の優先度マッピングを指定して、YARN キューの最終的な優先度を調整できます。YARN キューの優先度は、EMR ノードが優先的にスケジュールされるかどうかを決定します。
ベースライン操作レコードの表示: オペレーションセンターでベースラインの操作レコードを表示できます。