重要なタスクを、最遅完了時刻が設定されたベースラインに追加します。システムは、実行履歴に基づいてベースラインタスクの完了時刻を予測し、タスクが期限に間に合わないと予測された場合にアラートを送信します。
背景情報
スマートベースラインは、タスクの定時完了を妨げる可能性のある例外を検出し、早期にアラートを送信することで、複雑な依存関係のシナリオでも重要なデータがスケジュール通りに生成されることを保証します。詳細については、「スマートベースラインの概要」をご参照ください。
ベースラインを作成して有効化すると、翌日から有効になります。その後、定期インスタンスページでベースラインの実行ステータスを確認できます。
制限事項
バージョン要件：
ベースライン管理は、DataWorks Standard Edition 以降でのみ利用可能です。それより前のバージョンを使用している場合は、まず DataWorks インスタンスをアップグレードしてください。詳細については、「DataWorks の各エディションの機能」をご参照ください。
権限制御：
Alibaba Cloud アカウント、またはワークスペース管理者かテナント管理者のロールを持つ RAM ユーザーのみがベースラインを作成できます。
テナント管理者とベースラインの所有者のみが、ベースラインの有効化、無効化、削除、または変更を行えます。
ユーザーにこれらの権限を付与するには、必要なロールをユーザーに割り当てる必要があります。詳細については、「ワークスペースメンバーの追加とロールの割り当て」をご参照ください。
アラート通知方法：
DataWorks は、[メール]、[ショートメッセージ]、[電話]、[DingTalk グループボット]、[Webhook] など、複数のアラート通知方法をサポートしています。次の表に、各方法の制限事項を示します。
通知方法
利用可能なリージョン
利用可能なエディション
説明
[ショートメッセージ]
すべてのリージョン
Standard Edition 以降。
他のリージョンでテキストメッセージアラートを受信するには、申請リンクをクリックして「Alibaba Cloud Big Data AI Platform」チャットグループに参加してください。次に、以下の QR コードをスキャンして、DataWorks 製品の DingTalk グループに参加してサポートを受けてください。そこでは、チャットボットに質問したり、営業時間内に当番エンジニアに連絡したりできます。
[電話番号]
すべてのリージョン
Professional Edition 以降
電話アラートは、中国本土の携帯電話番号でのみサポートされています。
[Webhook]
すべてのリージョン
Basic Edition
グループ Webhook を介した DingTalk、Lark、WeCom グループへのアラート送信をサポートしています。
Enterprise Edition
Basic Edition の機能に加えて、Enterprise Edition はアラート受信用のカスタム Webhook をサポートしています。
説明カスタム Webhook を使用する必要がある場合は、設定の詳細について「スマート監視のためのカスタム Webhook」をご参照ください。
説明RAM ユーザーがテキストメッセージまたは電話のアラートを受信できるようにするには、[アラート連絡先] ページでユーザーをアラート連絡先として追加してください。タスクが失敗すると、DataWorks は関連する連絡先に通知します。詳細については、「アラート連絡先の表示と管理」をご参照ください。
ベースラインの作成
オペレーションセンターページに移動します。
左側メニューで、 をクリックします。
ベースラインを作成します。
ベースライン管理 タブで、ベースラインの作成 をクリックします。
ベースラインの基本プロパティを設定します。
次の表にパラメーターを示します。
パラメーター
説明
[ベースライン名]
ベースラインのカスタム名です。
[所属ワークスペース]
監視したいノードが含まれているワークスペースを選択します。
説明保障タスク パラメーターを設定する際、この 所属ワークスペース 内のノードとワークフローのみを選択できます。
[所有者]
ベースラインの所有者です。
[ベースラインタイプ]
ベースラインの監視サイクルです。日次または時間単位から選択します。
[日次ベースライン]：タスクを日次で監視します。日次でスケジュールされたタスクに適しています。
[時間ベースライン]：タスクを時間単位で監視します。時間単位でスケジュールされたタスクに適しています。
[保障タスク]
定時完了を監視したいタスクを選択します。
ノードをベースラインに追加すると、そのノードは現在のベースラインから新しいベースラインに移動します。
[タスクノード]：ノードの名前または ID を入力し、追加 ボタンをクリックします。ベースラインには複数のノードを追加できます。
[業務フロー]：ワークフローの名前または ID を入力し、追加 ボタンをクリックします。デフォルトでは、ワークフロー内のすべてのノードがベースラインに追加されます。
説明ワークフローを選択した後、その最も下流にあるノードのみを追加することを推奨します。追加されると、ベースラインはデータ出力に影響を与えるすべてのアップストリームノードを自動的に監視範囲に含めます。ワークフロー内のすべてのノードをベースラインに追加することは推奨されません。
[優先度]
ベースラインの優先度です。値が大きいほど優先度が高くなります。スケジューリングリソースが限られている場合、優先度の高いベースライン上のタスクが先にスケジュールされます。この設定は、翌日生成される定期インスタンスに適用されます。
説明MaxCompute ノード：
ベースラインの優先度は、以下の条件下で MaxCompute 計算ジョブの優先度にマッピングされます。
MaxCompute プロジェクトで優先度機能が有効になっている。
MaxCompute プロジェクトがサブスクリプションの計算リソースを使用している。
MaxCompute ジョブの優先度 = 9 - DataWorks ベースラインの優先度。
EMR ノード：
ベースラインの優先度を YARN キューの優先度にマッピングして、ノードの最終的な YARN キューの優先度を調整できます。これにより、ノードが優先的にスケジューリングおよび実行されるかどうかが決まります。詳細については、「ベースラインの優先度と YARN キューの優先度のマッピング設定」をご参照ください。
ノードがベースラインに追加されると、その優先度はそのベースラインによって設定されます。この優先度は、ノードのすべてのアップストリーム依存関係に伝播します。
ノードが異なる優先度を持つ複数のベースラインのデータ出力に影響する場合、ノードの優先度はそれらのベースラインの中で最も高い優先度によって決定されます。
ベースラインの優先度は、サイクルをまたぐ依存関係を持つアップストリームノードには影響しません。
[完了予定時間]
DataWorks は、過去の期間 (通常は直近 10 日間) のベースラインタスクの平均完了時間に基づいて完了予定時刻を計算します。完了予定時刻がアラート時刻より遅い場合、ベースラインアラートがトリガーされます。アラートメカニズムの詳細については、「付録：ベースラインのアラートメカニズム」をご参照ください。
説明履歴データが不十分な場合、システムは次のメッセージを表示します： [The completion time cannot be estimated due to the lack of historical data]
[確約時間]
ベースライン上のタスクが完了しなければならない最終期限です。これはデータ生成の最終期限でもあります。ベースラインはこの時刻を使用してアラート時刻を計算します。完了予定時刻に基づいて最遅完了時刻を設定します。アラート時刻 (計算式：
最遅完了時刻 - アラートマージン閾値) は、タスクの完了予定時刻より後になるように設定する必要があります。説明アラート時刻の計算式は
アラート時刻 = 最遅完了時刻 - アラートマージン閾値です。システムがタスクがアラート時刻までに完了しないと予測した場合にアラートがトリガーされます。例えば、最遅完了時刻が3:30に設定され、アラートマージン閾値が 10 分の場合、アラート時刻は3:20になります。システムがタスクがこの時刻までに完了しないと予測した場合、ベースラインアラートが送信されます。時間単位ベースラインの場合、どの日時インスタンス (つまり、どの特定の実行サイクル) を監視する必要があるかを指定し、その最遅完了時刻を設定する必要があります。
ベースライン上のタスクの実行時間は 24 時間を超える可能性があるため、最遅完了時刻は
00:00から47:59までの 2 日間のウィンドウ内で設定できます。例えば、タスクの実行時間が 1 日を超える場合、時刻を36:00に設定できます。
[警告マージン]
最遅完了時刻のどれくらい前にアラートをトリガーするかを決定します。アラート時刻は、頻繁で不要なアラートを防ぐために、完了予定時刻より後になるようにする必要があります。ベースライン上のタスクの実行時間に基づいて、この閾値を設定します。 詳細については、「適切な最遅完了時刻とアラートマージン閾値の設定」をご参照ください。
ベースラインのアラートを設定します。
アラートポリシーには、データが遅延すると予測されたときにトリガーされるベースラインアラートと、ベースラインタスクまたはその依存関係に影響を与えるエラーや速度低下によってトリガーされるイベントアラートが含まれます。これらの設定を行う前に、アラートメカニズムを確認することを推奨します。詳細については、「付録：ベースラインのアラートメカニズム」をご参照ください。
アラートを有効にします。
アラートを有効にすると、DataWorks はアラートルールに一致する条件をチェックし、それに応じて通知を送信します。
システムがベースライン上のタスクが最遅完了時刻までに完了しないと予測した場合、設定された通知方法に基づいてベースラインアラートを送信します。詳細については、「主要ロジック：ベースラインアラート」をご参照ください。
ベースラインタスクまたはそのアップストリーム依存関係でエラーが発生した場合、またはクリティカルパス上のタスクが遅延した場合、システムは設定された通知方法に基づいてイベントアラートを送信します。DataWorks の インシデント管理 ページで既存のイベントのリストを表示できます。詳細については、「イベントの管理」をご参照ください。
通知方法を選択します。
アラートを有効にした後、必要に応じて通知方法を選択してください。重要なタスクには、ベースラインアラートとイベントアラートの両方を設定することを推奨します。
重要ベースラインアラートとイベントアラートは、業務日付が昨日または一昨日の定期インスタンスに対してのみトリガーされます。この範囲外のインスタンスはアラート監視の対象外です。
アラートを受信できない場合は、「オペレーションセンターでアラート設定を行った後、アラートが受信できない場合の対処法」をご参照ください。
ベースラインアラート
パラメーター
説明
[ベースラインスイッチ]
このベースラインのアラートを有効または無効にします。
説明アラートを無効にすると、ベースラインはアラートを生成しません。ただし、ベースラインが有効になっている場合、ベースラインインスタンスは引き続き生成され、優先度の設定は有効のままです。
[アラート方式]
[メール]、[ショートメッセージ][、または電話]で、ベースラインの所有者、シフト表の当番エンジニア、または指定された受信者にアラートを送信できます。シフト表の設定については、「シフト表」をご参照ください。
[DingTalk グループボット]または [Webhook] を使用して、DingTalk、WeCom、Lark などの他のアプリケーションにアラートを送信できます。DingTalk チャットボットの設定については、「シナリオ：DingTalk グループへのアラート通知の送信」をご参照ください。
説明[連絡先情報を確認] または テストメッセージの送信 を使用して、アラートが正しく送信されることを確認できます。
電話アラートは、DataWorks Professional Edition 以降でのみ利用可能です。
電話アラートを選択した場合、短時間に大量の電話が集中するのを避けるため、DataWorks はコール数をレート制限します。ユーザーは指定された受信間隔内に最大 1 回のアラートコールを受信し、追加のコールはテキストメッセージにダウングレードされます。受信間隔はデフォルトで 20 分で、ルール管理のテナントアラートポリシー設定で変更できます。
[最大アラート回数]
送信できるアラートの最大数です。この制限に達すると、それ以上のアラートは生成されません。
[最小アラーム間隔]
連続する 2 つのアラート間の最小時間間隔です。
[応答不可時間]
通知停止期間を設定した場合、システムはその時間帯にアラートを送信しません。
例えば、タスクの通知停止期間が
00:00から08:00に設定されている場合、ベースラインアラートおよびイベントアラートはこの期間中にトリガーされません。08:00 にイベントがまだ異常状態である場合、アラートが送信されます。イベントアラート
パラメーター
説明
[イベントタイプ]
アラートをトリガーするイベントタイプ：
[エラー]：ベースラインの監視範囲内のタスクが失敗します。
[低速化]：ベースラインの監視範囲内のタスクが、過去の期間の平均実行時間より大幅に長く実行されています。
[アラート方式]
[メール]、[ショートメッセージ][、または電話]で、タスクの所有者、シフト表の当番エンジニア、または指定された受信者にアラートを送信できます。シフト表の設定については、「シフト表」をご参照ください。
[DingTalk グループボット]または [Webhook] を使用して、DingTalk、WeCom、Lark などの他のアプリケーションにアラートを送信できます。DingTalk チャットボットの設定については、「シナリオ：DingTalk グループへのアラート通知の送信」をご参照ください。
説明[連絡先情報を確認] または テストメッセージの送信 を使用して、アラートが正しく送信されることを確認できます。
電話アラートは、DataWorks Professional Edition 以降でのみ利用可能です。
電話アラートを選択した場合、短時間に大量の電話が集中するのを避けるため、DataWorks はコール数をレート制限します。ユーザーは指定された受信間隔内に最大 1 回のアラートコールを受信し、追加のコールはテキストメッセージにダウングレードされます。受信間隔はデフォルトで 20 分で、ルール管理のテナントアラートポリシー設定で変更できます。
[最大アラート回数]
送信できるアラートの最大数です。この制限に達すると、それ以上のアラートは生成されません。
[最小アラーム間隔]
連続する 2 つのアラート間の最小時間間隔です。
[応答不可時間]
通知停止期間を設定した場合、システムはその時間帯にアラートを送信しません。
例えば、タスクの通知停止期間が
00:00から08:00に設定されている場合、ベースラインアラートおよびイベントアラートはこの期間中にトリガーされません。08:00 にイベントがまだ異常状態である場合、アラートが送信されます。OK をクリックしてベースラインを作成します。
説明アラートを無効にすると、ベースラインはアラートを生成しません。ただし、ベースラインが有効になっている場合、ベースラインインスタンスは引き続き生成され、優先度の設定は有効のままです。
DataWorks コンソールにログインします。リージョンを選択した後、左側メニューで をクリックします。ドロップダウンリストから目的のワークスペースを選択し、オペレーションセンターへ をクリックします。
ベースラインへのノードの追加
1 つのノードは一度に 1 つのベースラインにしか所属できません。すでにベースライン A に属しているノードをベースライン B に追加すると、そのノードはベースライン B に移動します。
有効化されたベースラインにノードがない場合、それは空のベースラインとなり、空のベースラインインスタンスが生成されます。空のベースラインの詳細については、「[ベースラインインスタンス] ページでベースラインのステータスが「空のベースライン」と表示されるのはなぜですか？」をご参照ください。
次の 2 つの方法のいずれかで、ノードをベースラインに追加できます。
ベースライン管理 ページに移動し、ベースラインの作成 をクリックしてノードを追加します。
定期タスク ページに移動し、特定のタスクに対して を選択します。
説明この方法では、選択したタスクに対して新しいベースラインを作成することしかできません。既存のベースラインにタスクを追加するために使用することはできません。
単一のノードをベースラインに追加する
対象の定期タスクの 操作 列で、 をクリックします。
複数のノードをベースラインに追加する
複数の定期タスクを選択し、下部のメニューバーで をクリックします。
ベースラインの管理
[ベースライン] ページで、所有者、ワークスペース、ベースライン名、優先度 などの基準でベースラインをフィルタリングし、次の操作を実行できます。
表示 [詳細]: ベースラインタスクの基本情報を表示します。
編集：必要に応じてベースライン設定を変更します。
表示 [変更記録]: ベースラインの変更履歴を表示します。
ベースラインの有効化またはシャットダウン: ベースラインが有効かどうかを制御します。有効化されたベースラインは、毎日新しいベースラインインスタンスを生成します。毎日のベースラインの詳細は、[ベースラインインスタンス] パネルで表示できます。
削除：必要に応じてベースラインを削除します。
付録：ベースラインのアラートメカニズム
ベースラインアラートは、有効化され、アラートがオンになっているベースラインのための通知サービスです。ベースラインの 警告マージン と 確約時間 を、その 完了予定時間 に基づいて設定する必要があります。DataWorks は、監視対象タスクの過去の平均実行時間 (通常は直近 10 日間) に基づいて完了予定時刻を計算します。その後、システムは実際の実行ステータスに基づいてタスクを監視します。ベースライン上のタスクがアラート時刻 (最遅完了時刻 - アラートマージン閾値) に間に合わないと予測された場合、設定された受信者にベースラインアラートが送信されます。
アラートマージンしきい値とコミット済み完了時間の設定が不適切な場合、予期しないアラートが発生する可能性があります。詳細については、「適切なコミット済み完了時間とアラートマージンしきい値を設定する」をご参照ください。
タスク実行前のベースラインアラートポリシー：
説明日次タスクが実行される前に、ベースラインシステムは監視範囲内のタスクの過去 10 日間の平均完了時間を計算します。タスクがアラート時刻に間に合わないと予測された場合、ベースラインアラートが直ちに送信されます。複雑で頻繁に変更されるタスク依存関係のシナリオでは、ベースラインは問題の検出と早期警告の受信に役立ちます。
過去 10 日間の平均完了時間から計算されたベースラインタスクの完了予定時刻が、ベースラインアラート時刻より遅い場合、プラットフォームはベースライン警告をトリガーします。計算された完了予定時刻は ベースライン管理 ページで確認できます。詳細については、「ベースラインの作成」をご参照ください。
過去 10 日間の平均完了時間から計算されたアップストリームタスクの完了予定時刻が、ベースラインアラート時刻より遅い場合、プラットフォームはベースライン警告をトリガーします。
タスク実行中のベースラインアラートポリシー：
ベースライン上のタスクがベースラインアラート時刻より後に完了した場合、ベースライン警告がトリガーされます。
次のステップ
ベースラインを作成した後、次のことができます。
ベースラインインスタンスの表示：有効なベースラインは毎日インスタンスを生成します。[ベースラインインスタンス] ページでベースラインの実行詳細を表示できます。
EMR ノード：ベースラインの優先度を YARN キューの優先度にマッピングして、EMR ノードの最終的な YARN キューの優先度を調整し、それがスケジューリングと実行で優先されるかどうかを制御できます。
ベースライン操作記録の表示：オペレーションセンターでベースラインに対して実行されたすべての操作の履歴を表示できます。