重要なノードが期待どおりに完了するように、ベースライン管理機能を使用して、ノードをベースラインに追加し、ベースラインのコミットされた完了時間を指定できます。DataWorks は、ノードのステータスに基づいて、ベースライン内のノードの推定完了時間を計算します。DataWorks が、ベースライン内のノードがコミットされた完了時間までに完了できないと推定した場合、DataWorks はアラート通知を送信します。このトピックでは、ベースラインを作成および管理する方法について説明します。
背景情報
インテリジェントベースラインを使用すると、DataWorks は、インテリジェントベースライン内のノードが期待どおりに完了するのを妨げる例外を識別し、できるだけ早く例外について通知できます。これにより、ベースライン内のノード間の依存関係が複雑なシナリオで、取得したいデータが期待どおりに生成されるようになります。詳細については、「概要」をご参照ください。
ベースラインが作成されて有効化されると、ベースラインは翌日有効になります。自動トリガーインスタンス ページに移動して、ベースラインの実行結果を表示できます。
制限
エディション:
DataWorks Standard Edition 以降のエディションのみがベースライン管理機能をサポートしています。DataWorks Basic Edition を使用している場合は、ベースライン管理機能を使用する前に、DataWorks Standard Edition 以降のエディションにアップグレードする必要があります。詳細については、「DataWorks エディション間の違い」をご参照ください。
権限:
ワークスペース管理者またはテナント管理者ロールが割り当てられている Alibaba Cloud アカウントと RAM ユーザーのみを使用して、ベースラインを作成できます。
テナント管理者とベースラインオーナーのみを使用して、ベースラインを有効化、無効化、削除、または変更できます。
ユーザーが上記の操作を実行できるようにするには、ユーザーにロールを割り当てることができます。詳細については、「ワークスペースメンバーを追加し、ロールを割り当てる」をご参照ください。
アラート通知方法:
DataWorks は、[メール]、[ショートメッセージ]、[電話]、[dingtalk チャットボット]、[webhook URL] など、アラート通知方法をサポートしています。サポートされているアラート通知方法に関する次の表に記載されている制限事項に注意してください。
アラート通知方法
サポートされているリージョン
サポートされている DataWorks エディション
説明
ショートメッセージ
すべてのリージョン
DataWorks Standard Edition 以降のエディション
他のリージョンでこの方法を使用する場合は、次の手順を参照してください。 アプリケーションへのリンクをクリックするか、プリセールスまたはアフターサービスの DataWorks DingTalk グループに参加できます。DingTalk グループで、DingTalk チャットボットまたはオンデューティの技術担当者に直接連絡できます。次の図は、DataWorks DingTalk グループの QR コードを示しています。
電話
すべてのリージョン
すべてのエディション
中国本土の電話番号を使用して送信されるアラート通知のみがサポートされています。
Webhook
中国 (上海)、中国 (成都)、中国 (張家口)、中国 (北京)、中国 (杭州)、中国 (深圳)、中国 (香港)、ドイツ (フランクフルト)、シンガポール
DataWorks Basic Edition
グループ Webhook URL を使用して、DingTalk、Lark グループ、または WeCom にアラート通知を送信できます。
DataWorks Enterprise Edition
DataWorks Basic Edition でサポートされている機能に加えて、カスタム Webhook URL を構成してアラート通知を受信することもできます。
説明カスタム Webhook ベースのメッセージ送信サービスを使用する場合は、「インテリジェントモニタリング: カスタム Webhook を使用して送信されるアラートメッセージの形式」を参照して設定を構成してください。構成が完了したら、Alibaba Cloud DataWorks テクニカルサポートに連絡して、さらに処理を進めてください。
説明RAM ユーザーとしてショートメッセージまたは電話で通知を受け取る場合は、アラート連絡先ページで RAM ユーザーをアラート連絡先として追加する必要があります。ノードの実行中にエラーが報告された場合、DataWorks は指定された連絡先にアラート通知を送信します。詳細については、「アラート連絡先を構成および表示する」をご参照ください。
ベースラインを作成する
オペレーションセンター ページに移動します。
オペレーションセンター ページの左側のナビゲーションウィンドウで、 を選択します。
ベースラインを作成します。
[ベースライン] タブで、[+ ベースラインの作成] をクリックします。
[ベースラインの作成] パネルで、ベースラインに関する基本情報を構成します。
次の表にパラメーターを示します。
パラメーター
説明
ベースライン名
ベースラインの名前。
ワークスペース
ベースラインに追加するノードのワークスペース。
説明ベースラインに追加する [ノード] を選択する場合、選択した [ワークスペース] に属するノードとワークフローのみを選択できます。
オーナー
ベースラインオーナーの名前または ID。
ベースラインタイプ
ベースラインのタイプ。有効な値:
日レベルベースライン: DataWorks は、日ごとにベースライン内のノードを監視します。日ごとにスケジュールされているノードには、この値を選択します。
時間レベルベースライン: DataWorks は、時間ごとにベースライン内のノードを監視します。時間ごとにスケジュールされているノードには、この値を選択します。
ノード
ベースラインに追加するノード。
ノード: ノードの名前または ID を入力し、右側の [追加] をクリックします。ベースラインには複数のノードを追加できます。
ワークフロー: ワークフローの名前または ID を入力し、右側の [追加] をクリックします。デフォルトでは、ワークフローをベースラインに追加すると、ワークフロー内のすべてのノードがベースラインに追加されます。
説明ワークフロー内のすべてのノードではなく、ワークフロー内の最後の子孫ノードのみをベースラインに追加することをお勧めします。こうすることで、最後の子孫ノードのデータ生成に影響を与えるすべての先祖ノードが監視されます。
優先度
ベースラインの優先度。値が大きいほど、ベースラインの優先度が高くなり、ベースライン内のノードの優先度が高くなります。スケジューリングリソースが不足している場合は、優先度の高いベースラインが優先的にスケジュールされます。構成された優先度は、翌日実行するようにスケジュールされている自動トリガーノードインスタンスに有効になります。
説明ODPS ノード:
次の条件が満たされている場合、ODPS ノードの優先度は MaxCompute 計算タスクの優先度にマッピングされます。
MaxCompute プロジェクトで優先度機能が有効になっている。
MaxCompute プロジェクトはサブスクリプション計算リソースを使用している。
MaxCompute タスクの優先度は、次の式に基づいて計算されます。9 - DataWorks のベースラインの優先度。
E-MapReduce (EMR) ノード:
EMR ノードが属するベースラインと、EMR ノードの実行に使用される YARN キュー間の優先度マッピングを指定して、YARN キューの最終的な優先度を調整できます。YARN キューの優先度によって、EMR ノードを優先的にスケジュールできるかどうかが決まります。詳細については、「ベースラインの優先度と YARN キューの優先度のマッピングを構成する」をご参照ください。
推定終了時間
ベースラインの推定完了時間。時間は、過去の一定期間 (通常は 10 日間) にわたるベースライン内のノードの平均完了時間に基づいて計算されます。推定完了時間がベースラインのアラート時間より遅い場合、ベースラインアラートがトリガーされます。ベースラインアラートメカニズムについては、このトピックの「付録: ベースラインアラートメカニズム」セクションを参照してください。
説明既存データが不十分な場合は、[既存データがないため、完了時間を推定できません] というメッセージが表示されます。
コミットされた終了時間
ベースライン内のノードが完了するとコミットされる期限。DataWorks は、このパラメーターの値に基づいてベースラインのアラート時間を計算します。推定完了時間に基づいてこのパラメーターを構成します。
アラート時間がベースラインの推定完了時間より後であることを確認してください。説明ベースラインのアラート時間は、次の式を使用して計算されます。
アラート時間 = コミットされた完了時間 - アラートマージンしきい値。推定完了時間がアラート時間より遅い場合、アラート通知が送信されます。たとえば、ベースラインのコミットされた完了時間が03:30に設定され、アラートマージンしきい値が 10 分に設定されているとします。DataWorks が、ベースライン内のノードが03:20までに完了できないと推定した場合、アラート通知が送信されます。時間レベルベースラインの場合、時間レベルインスタンスを指定し、インスタンスのコミットされた完了時間を指定して、データ生成を確実にする必要があります。
ベースライン内のノードの実行期間は 24 時間を超える場合があります。したがって、システムでは、コミットされた完了時間を 2 日以内 (
00:00 から 47:59まで) の時間値に設定できます。ベースライン内のノードの実行期間が 1 日を超える場合は、ベースラインのコミットされた完了時間を翌日の特定の時点に設定できます。たとえば、ノードの実行期間が 1 日半 の場合、コミットされた完了時間を36:00に設定できます。
アラートマージンしきい値
アラート時間とベースラインのコミットされた完了時間の間の時間間隔。コミットされた完了時間とベースライン内のノードの推定完了時間の間隔は、少なくとも 5 分にする必要があります。そうしないと、アラートが頻繁にトリガーされます。ベースライン内のノードが完了するのに必要な時間に基づいて、アラートマージンしきい値を構成することをお勧めします。 詳細については、「ベースラインに適切なコミットポイントと適切なアラートマージンしきい値を構成する」をご参照ください。
ベースラインのアラート詳細を構成します。
[アラートを有効にする] をオンまたはオフにすることで、ベースラインのアラート通知機能を有効にするかどうかを指定できます。[アラートを有効にする] をオンにすると、ベースライン内のノードのデータが期待どおりに生成されない場合にベースラインアラートを送信するために使用される通知方法を指定できます。また、ベースラインのデータ生成に影響を与えるノードまたはその先祖ノードが実行速度の低下または実行の失敗が発生した場合にイベントアラート通知を送信するために使用される方法を指定することもできます。ベースラインのアラートを構成する前に、ベースラインのアラートメカニズムを理解することをお勧めします。詳細については、このトピックの「付録: ベースラインアラートメカニズム」セクションを参照してください。
アラート通知機能を有効にします。
アラート通知機能を有効にすると、DataWorks はアラート条件に基づいて問題を検出し、構成されたアラート通知方法を使用してアラート通知を送信します。
アラート通知方法を選択します。
アラート通知機能を有効にすると、ビジネス要件に基づいてアラート通知方法を選択できます。重要なノードのベースラインアラートとイベントアラートを構成することをお勧めします。
重要アラート通知を受信できない場合は、「オペレーションセンターでアラートルールを構成した後、アラート通知を受信できない場合はどうすればよいですか?」を参照して問題のトラブルシューティングを行ってください。
ベースラインアラート
パラメーター
パラメーター
[アラート設定の有効化]
ベースラインを有効にするかどうかを指定します。
説明アラート通知機能を無効にすると、ベースラインのアラート通知は送信されません。ただし、ベースラインが有効になっている場合、ベースラインインスタンスは想定どおりに生成され、ベースラインの優先度は引き続き有効です。
アラート通知方法
アラートを送信するために使用されるアラート通知方法。システムは、[メール]、[ショートメッセージ]、[電話]などの設定されたアラート通知方法に基づいて、ベースラインオーナー、指定された勤怠表の当日の担当エンジニア、またはその他の指定された受信者にアラート通知を送信できます。勤怠表の設定方法については、「勤怠表を作成および管理する」をご参照ください。
システムは、[dingtalk グループチャットボット]または[webhook URL]に基づいて、DingTalk、WeCom、Lark などのアプリケーションにアラート通知を送信することもできます。DingTalk チャットボットの設定方法については、「シナリオプラクティス：DingTalk グループにアラート通知を送信する」をご参照ください。
説明[連絡先情報を確認] または [テストメッセージを送信] をクリックして、アラート通知が正常に送信されるかどうかを確認できます。
アラート通知方法パラメーターで 電話 を選択できるのは、DataWorks Professional Edition 以上の場合のみです。
アラート通知方法として 電話 を選択した場合、DataWorks は受信者が頻繁にアラート コールを受信しないようにアラート コールをフィルターします。受信者は 20 分間に最大 1 回のアラート コールを受信できます。その他のアラート コールはスペックダウンされ、ショートメッセージに変換されます。
最大アラート数
送信できるアラート通知の最大数です。最大数を超えた場合、アラート通知は送信されません。
最小アラート間隔
アラート通知が送信される最小間隔です。
アラートのサイレント期間
このパラメーターで指定された期間中は、DataWorks はアラート通知を送信しません。
たとえば、このパラメーターをベースラインに対して
00:00から08:00に設定し、この期間内にベースラインのノードで例外が発生した場合、DataWorks はベースラインまたはイベントのアラート通知を送信しません。 08:00 以降も例外が引き続き存在する場合、DataWorks はアラート通知を送信します。イベントアラート
パラメーター
説明
イベントタイプ
アラートをトリガーするイベントのタイプ。有効な値:
エラー: ベースライン内のノードが実行に失敗したことを示します。
低速: ノードの完了に要する時間が、過去の期間におけるノードの完了に要する平均時間よりも大幅に長いことを示します。
アラート通知方法
アラートの送信に使用されるアラート通知方法。システムは、[メール]、[ショートメッセージ]、[電話] などの設定されたアラート通知方法に基づいて、ノードオーナー、指定された勤怠表の当日の当直エンジニア、またはその他の指定された受信者にアラート通知を送信できます。勤怠表の設定方法については、「勤怠表を作成および管理する」をご参照ください。
システムは、[dingtalk グループチャットボット] または [webhook URL] に基づいて、DingTalk、WeCom、Lark などのアプリケーションにアラート通知を送信することもできます。DingTalk チャットボットの設定方法については、「シナリオプラクティス: DingTalk グループにアラート通知を送信する」をご参照ください。
説明[連絡先情報を確認] または [テストメッセージを送信] をクリックして、アラート通知が正常に送信されるかどうかを確認できます。
アラート通知方法パラメーターで電話を選択できるのは、DataWorks Professional Edition 以上の場合のみです。
アラート通知方法として電話を選択した場合、DataWorks は受信者が頻繁にアラートコールを受信しないようにアラートコールをフィルターします。受信者は 20 分間に最大 1 回のアラートコールを受信できます。その他のアラートコールはスペックダウンされ、ショートメッセージに変換されます。
最大アラート数
送信できるアラート通知の最大数。最大数を超えた場合、アラート通知は送信されません。
最小アラート間隔
アラート通知が送信される最小間隔。
アラート通知のサイレント期間
DataWorks は、このパラメーターで指定された期間中はアラート通知を送信しません。
たとえば、ベースラインに対してこのパラメーターを
00:00から08:00に設定し、この期間内にベースライン内のノードで例外が発生した場合、DataWorks はベースラインまたはイベントアラート通知を送信しません。08:00 以降も例外が引き続き存在する場合、DataWorks はアラート通知を送信します。[OK] をクリックします。ベースラインが作成されます。
説明アラート通知機能を無効にしても、ベースラインのアラート通知は送信されません。ただし、ベースラインが有効になっている場合、ベースラインインスタンスは期待どおりに生成され、ベースラインの優先度は引き続き有効になります。
DataWorks コンソール にログオンします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、 を選択します。表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[オペレーションセンターに移動] をクリックします。
ベースラインへのノードの追加
ノードは 1 つのベースラインにのみ追加できます。たとえば、ノード A がベースライン A に追加されている場合、ベースライン B を作成してノード A をベースライン B に追加すると、ノード A はベースライン A から削除され、ベースライン B に追加されます。
有効になっているベースラインにノードが含まれていない場合、ベースラインは空のベースラインになり、「空のベースライン」状態のベースラインインスタンスが生成されます。 空のベースラインの詳細については、「ベースラインが「空のベースライン」状態になるのはなぜですか。」をご参照ください。
次のいずれかの方法を使用して、ベースラインにノードを追加できます。
[ベースライン] タブで、[+ ベースラインの作成] をクリックしてベースラインを作成し、ベースラインにノードを追加します。
[自動トリガー タスク] ページで、目的のノードを見つけ、[アクション] 列で を選択して、ノードをベースラインに追加します。
説明この方法を使用して複数のノードをベースラインに追加する場合、ノードは新しいベースラインにのみ追加できます。 既存のベースラインにノードを追加することはできません。
ベースラインに単一のノードを追加する
ベースラインに追加するノードを見つけ、[アクション] 列で を選択します。
ベースラインに複数のノードを追加する
ベースラインに追加する複数のノードを選択し、ページの下部にある を選択します。
ベースラインの管理
[ベースライン] タブで、[所有者]、[ワークスペース]、[ベースライン名]、[優先度] などのフィルター条件を指定して、目的のベースラインを検索し、ベースラインに対して次の操作を実行できます。
表示 [詳細]: [詳細の表示] をクリックして、ベースラインに関する基本情報を表示します。
[変更]: [変更] をクリックして、ベースラインを変更します。
表示 [変更レコード]: 変更レコードを表示するには、[変更レコードの表示] をクリックします。ベースラインの変更履歴レコードが表示されます。
[有効化] または [無効化]: [有効化] または [無効化] をクリックして、ベースラインを有効または無効にします。ベースラインのインスタンスは、ベースラインを有効にした後にのみ生成できます。ベースラインが有効になっている場合、ベースラインインスタンスは毎日生成されます。日次ベースラインインスタンスの詳細は、[ベースラインインスタンス] タブで確認できます。詳細については、「ベースラインインスタンスの管理」をご参照ください。
[削除]: [削除] をクリックして、ベースラインを削除します。
付録: ベースラインアラートメカニズム
作成したベースラインが有効になっていて、ベースラインのアラートスイッチをオンにすると、ベースラインアラートがトリガーされたときにアラート通知が送信されます。 [推定完了時刻] に基づいて、ベースラインの [アラートマージンしきい値] と [コミット完了時刻] を設定できます。DataWorks は、過去 10 日間のノードの平均完了時刻に基づいて、監視範囲内の各ノードの最新の完了時刻を推定できます。DataWorks は、ベースライン内のノードのステータスも監視します。コミット完了時刻からアラートマージンしきい値を引いた値で得られるアラート時刻までにベースライン内のノードが実行を完了できないと DataWorks が予測した場合、DataWorks は、ベースラインの設定時に指定したアラート連絡先にアラート通知を送信します。
指定したアラートマージンしきい値とコミット完了時刻が不適切な場合、トリガーされたアラートが期待どおりにならない可能性があります。詳細については、「ベースラインに適切なコミットポイントと適切なアラートマージンしきい値を設定する」をご参照ください。
ベースライン内のノードが実行される前のベースラインのアラートルール:
説明システムは、当日、ベースラインの監視範囲内の各ノードの完了時刻を推定できます。完了時刻は、過去 10 日間の監視範囲内のノードの平均完了時刻に基づいて推定されます。システムは、ベースラインのアラート時刻までに実行を完了できないノードを予測し、その日のベースライン内のノードの実行が開始される前に、例外情報を含むアラート通知を指定されたアラート連絡先にできるだけ早く送信できます。ベースラインは、ベースライン内のノード間の依存関係が複雑で、依存関係が頻繁に変更されるシナリオで、例外を特定し、例外に関するアラート通知をできるだけ早く受信するのに役立ちます。
ベースライン内のノードの推定完了時刻がベースラインのアラート時刻より遅い場合、ベースラインアラートがトリガーされます。 [ベースライン] タブで、ベースラインの推定完了時刻を表示できます。詳細については、このトピックの ベースラインを作成する セクションをご参照ください。
ベースライン内のノードの先祖ノードの推定完了時刻がベースラインのアラート時刻より遅い場合、ベースラインアラートがトリガーされます。先祖ノードの推定完了時刻は、過去 10 日間の先祖ノードの平均完了時刻に基づいて計算されます。
ベースライン内のノードが実行されているときのベースラインのアラートルール:
ベースライン内のノードの完了時刻がベースラインのアラート時刻より遅い場合、ベースラインアラートがトリガーされます。
次のステップ
ベースラインを作成した後、次の操作を実行できます。
ベースラインインスタンスを表示する: ベースラインが有効になっている場合、ベースラインのベースラインインスタンスは毎日生成されます。 [ベースラインインスタンス] タブで、ベースラインの実行の詳細を表示できます。
EMR ノード: EMR ノードが属するベースラインと、EMR ノードの実行に使用する YARN キューとの間の優先順位マッピングを指定して、YARN キューの最終的な優先順位を調整できます。 YARN キューの優先順位によって、EMR ノードを優先的にスケジュールできるかどうかが決まります。
ベースライン操作レコードを表示する: オペレーションセンターでベースラインの操作レコードを表示できます。