DataWorks:オペレーションセンター入門

オペレーションセンターへのアクセス

オペレーションセンターコンソールにログオンします。対象リージョンに切り替え、ドロップダウンリストから目的のワークスペースを選択し、オペレーションセンターへ をクリックします。

操作手順

フェーズ 1：自動トリガーノードの検証

1. 手順 1：自動トリガーノードの設定の表示

   自動トリガーノードが予期せずスケジューリングされるのを防ぐため、発行後にスケジューリングパラメーターやスケジューリングリソースグループなどの設定を確認します。設定が正しくない場合は、設定を修正してノードを再発行します。

2. 手順 2：自動トリガーノードのテスト

   スモークテスト機能を使用して、自動トリガーノードが本番環境で期待どおりに実行されることを検証します。エラーが発生した場合は、迅速に対処してノードが正常に実行されるようにします。

3. 手順 3：自動トリガーノードの履歴データのバックフィル

   データバックフィル機能を使用して、履歴データを再計算できます。

4. 手順 4：定期インスタンスの表示

   自動トリガーノードが発行されると、そのスケジューリング周期に基づいて定期インスタンスが生成されます。DataStudio で インスタンス生成方式 が T+1 翌日生成 に設定されている場合、タスクは翌日から実行されるようにスケジューリングされます。パラメーターが 公開後、即時に生成されます。 に設定されている場合、タスクは同日に実行されるようにスケジューリングされます。定期インスタンスの生成と実行ステータスを表示して、タスクが正しくスケジューリングされていることを確認できます。

5. 手順 5：実行結果の表示

   ノードのスモークテストまたはデータバックフィルを実行した後、データが正しく書き込まれたことを確認できます。

フェーズ 2：自動トリガーノードのモニタリング

1. 手順 6：カスタムモニタリングルールの作成

   ビジネスニーズに基づいて、自動トリガーノードのインテリジェントモニタリングルールを設定し、そのスケジューリングと実行時のステータスをモニタリングすることで、スケジュールどおりに実行され続けることを保証できます。

2. 手順 7：インテリジェントベースラインの作成 (高度)

   優先度の高いタスクが特定の時間までにデータを生成することを保証するために、タスクのインテリジェントベースラインモニタリングを設定できます。システムがタスクがコミット時間までに完了できないと予測した場合、ベースラインは事前にタスク例外アラートを送信します。これにより、例外を効率的に受信し、処理することができます。

3. 手順 8：リソースグループの自動 O&M ルールの作成

   専用リソースグループのカスタムモニタリングルールを作成して、その使用状況とリソースグループで待機しているインスタンス数をモニタリングし、関連する O&M 操作を実行できます。

手順 1：ノード設定の表示

自動トリガーノードが予期せず実行されるのを防ぐため、発行後にスケジューリングパラメーターやノードの依存関係などの設定を確認します。

1. オペレーションセンターへのアクセス。

2. 対象のノードを検索します。

   1. 左側メニューで、定期タスクの運用保守 > 定期タスク を選択します。

   2. 定期タスク ページで、対象のノードを検索します。

3. ノードの詳細を表示します。

   1. 対象のノードをクリックして、その有向非巡回グラフ (DAG) を開きます。

   2. 詳細の表示 をクリックして、ノードの詳細情報を表示します。

この例では、自動トリガーノードリストで発行済みの result_table ノードを検索し、その スケジューリングパラメータ と リソースグループのスケジューリング が正しく設定されているかを確認する方法を示します。

手順 2：自動トリガーノードのテスト

自動トリガーノードのスモークテストを実行して、本番環境で期待どおりに実行されることを検証します。この操作は、実際のコードロジックを実行します。

1. スモークテストページに移動します。

   次のいずれかの方法を使用できます。

   • 方法 1：自動トリガーノードリストで対象のタスクを検索し、操作 列の テスト をクリックします。

   • 方法 2：対象ノードの DAG で、ノードを右クリックし、テスト を選択します。

2. テストのデータタイムスタンプと実行時間を設定し、OK をクリックします。

   スモークテストが実行されると、テストインスタンスが生成されます。定期タスクの運用保守 > インスタンスのテスト ページに、インスタンスの詳細とステータスが表示されます。

   説明

   • スモークテストの詳細については、「スモークテストの実行」をご参照ください。

   • テストインスタンスの表示方法の詳細については、「テストの実行とテストインスタンスの表示」をご参照ください。

この例では、result_table ノードをテストして正常に実行されるかを確認する方法を示します。図の手順に従ってテストを実行し、生成されたテストインスタンスの実行ステータスを表示できます。

手順 3：履歴データのバックフィル

自動トリガーノードが開発・発行されると、設定に基づいてスケジュールされた間隔で実行されます。履歴データを再計算する必要がある場合は、データバックフィル機能を使用できます。

1. データバックフィルページに移動します。

   次のいずれかの方法を使用できます。

   • 方法 1：自動トリガーノードリストで対象のタスクを検索し、操作 列の データバックフィル をクリックします。

   • 方法 2：対象ノードの DAG で、ノードを右クリックし、データバックフィル を選択します。

2. データバックフィルモードを選択します。

   ニーズに基づいてモードを選択できます。

   モード	説明	ユースケース
   手動選択	1 つ以上のノードをルートノードとして選択します。その後、データバックフィルの対象となる子孫ノードを手動で選択できます。子孫ノードのサブセットを指定できます。 説明 このモードは、現在のノード、現在のノードおよび子孫ノード、アドバンストモード などの以前のデータバックフィル計画と互換性があります。 1 回の操作でバックフィルできるのは、最大 500 のルートノードと合計 2,000 ノード (ルートノードと子孫ノード) です。	現在のノードとその子孫ノードの一括データバックフィル。 データバックフィルのためにノードのバッチを柔軟に選択できます。ノード間に依存関係は必要ありません。
   リンクで選択	開始ノードをルートノードとして、1 つ以上の終了ノードを選択します。システムは、開始ノードと終了ノードを含む、それらの間のすべてのノードを自動的に分析し、データバックフィルの範囲に含めます。	複雑な依存関係を持つタスクのエンドツーエンドのデータバックフィル。
   ワークスペースで選択	ルートノードを選択し、子孫ノードのワークスペースに基づいてデータバックフィルの範囲を決定します。 説明 このモードは、以前の 大規模ノードパターン のデータバックフィル計画と互換性があります。1 回の操作で最大 20,000 ノードをバックフィルできます。 タスクのブラックリストはサポートされていません。	現在のノードの子孫ノードが複数のワークスペースに存在し、それらのワークスペース内のノードのデータをバックフィルする必要がある場合にこのモードを使用します。
   指定ノードとすべての子孫	ルートノードを選択すると、システムは自動的にそのノードとすべての子孫ノードを分析し、データバックフィルの範囲に含めます。 重要 トリガーされたノードは、データバックフィルタスクの実行中にのみ表示されます。このモードは注意して使用してください。	ルートノードとそのすべての子孫ノードのデータをバックフィルします。

3. データバックフィルパラメーターの設定

   ビジネス要件に基づいて、データタイムスタンプやバックフィルするノードなどのパラメーターを設定します。パラメーターは選択したモードによって異なります。詳細については、「データバックフィルインスタンスの管理」をご参照ください。

この例では、現在のノード モードを使用して、result_table ノードのデータを、2024-09-17 から 2024-09-19 までのデータタイムスタンプ範囲で、毎日 00:00 から 01:00 の期間でバックフィルします。設定手順については、次の図をご参照ください。

手順 4：定期インスタンスの表示

自動トリガーノードが発行されると、そのスケジューリング周期に基づいて定期インスタンスが生成されます。DataStudio で インスタンス生成方式 が T+1 翌日生成 に設定されている場合、タスクは翌日から実行されるようにスケジューリングされます。パラメーターが 公開後、即時に生成されます。 に設定されている場合、タスクは同日に実行されるようにスケジューリングされます。生成された定期インスタンスを表示して、タスクが正しくスケジューリングおよび実行されているかを確認できます。

1. 定期インスタンスページに移動します。

   オペレーションセンター の左側メニューで、定期タスクの運用保守 > 定期インスタンス を選択します。

2. 定期インスタンスを表示します。

   自動トリガーノードのスケジューリング設定に基づいて、対応する定期インスタンスが生成され、期待どおりに実行されることを確認します。定期インスタンスの詳細については、「定期インスタンスの表示」をご参照ください。

   インスタンスが未実行状態の場合は、次の操作を実行してください。

   1. DAG パネルの アップストリーム分析 機能を使用して、現在のタスクをブロックしている主要なアップストリームタスクを迅速に特定します。

   2. 診断の実行 機能を使用して、主要なアップストリームタスクが実行に失敗した理由を診断したり、他の問題を特定したりします。依存関係の連鎖が深いタスクの場合、この機能は問題の迅速な特定と O&M 操作の効率向上に役立ちます。

この例では、2024.09.19 に時間単位でスケジューリングされたノード result_table によって生成された定期インスタンスを示します。

手順 5：実行結果の表示

手順 6：カスタムモニタリングルールの作成

ノードが期待どおりに動作することを確認した後、カスタムモニタリングルールを作成してその実行ステータスをモニタリングできます。ノードでエラーが発生した場合、DataWorksは設定に基づいてアラートを送信します。これにより、例外を適時に検出して処理し、ノードが期待どおりにスケジューリングされることを保証できます。

1. オペレーションセンターへのアクセス。

2. 左側メニューで、モニタリングアラーム > ルール管理 を選択します。

3. カスタムルールを作成します。

   1. カスタムルールの作成 をクリックします。

   2. ルールを設定します。

      ビジネス要件に基づいてカスタムルールを作成できます。設定の詳細については、「カスタムモニタリングルールの作成」をご参照ください。

      この例では、result_table ノードの実行が失敗したときにアラートを送信するように監視ルールが設定されています。次の図に設定を示します。result_table ノードの実行が失敗すると、Test rules ルールがトリガーされ、ノードの所有者にテキストメッセージアラートが送信されます。30 分間隔で最大 3 回のアラートを送信できます。

      説明

      事前にアラートの連絡先を設定します。詳細については、「アラート連絡先の表示と設定」をご参照ください。

手順 7：インテリジェントベースラインの作成 (高度)

タスクが指定された時間内にデータを生成することを保証するために、タスクのベースラインモニタリングを設定できます。タスクをベースラインに追加し、優先度とコミット時間を設定します。DataWorksは、その実行ステータスに基づいてベースラインタスクの推定完了時刻を計算し、優先度の高いタスクがスケジューリングリソースを優先的に取得できるようにします。システムがベースラインタスクがコミット時間に間に合わないと予測した場合、DataWorksはアラートを送信します。その後、アラートに基づいて迅速に例外を処理できます。

1. オペレーションセンターへのアクセス。

2. 左側メニューで、インテリジェントベースライン をクリックします。

3. インテリジェントベースラインを作成します。

   1. ベースライン管理 タブで、ベースラインの作成 をクリックします。

   2. ベースラインを設定します。

      ビジネス要件に基づいてベースラインを設定できます。設定の詳細については、「ベースラインの作成」をご参照ください。

      この例では、result_table ノードの時間単位のベースラインを設定して、ノードのデータ出力を時間単位でモニタリングする方法を示します。設定を次の図に示します。パラメーターの一部を次に説明します。

      • 優先度：値が大きいほど、優先度が高くなります。優先度の高いタスクは、リソースの競合が発生した場合にスケジューリングリソースを優先的に付与されます。

      • 完了予定時間：推定完了時刻は、一定期間のノードの完了履歴に基づいて計算されます。

      • 確約時間：ノードがデータを生成しなければならない最終時刻。このパラメーターは、ビジネス要件と一定期間のノードの完了履歴に基づいて設定できます。

      • 警告マージン：タスクの例外を処理するために使用される、確約時間より前のバッファ。これにより、タスクがコミット時間までに完了することを保証します。

        説明

        アラートマージンとコミット時間の間隔は、5 分以上である必要があります。

      result_table ノードの時間単位のインスタンスが各時間の最初の 30 分以内に完了できない場合、Test Baselines ベースラインがトリガーされ、アラートがテキストメッセージでノードの所有者に送信されます。30 分間隔で最大 3 回のアラートを送信できます。

手順 8：リソースグループの自動 O&M ルールの作成

専用リソースグループを使用してタスクを実行する場合、ビジネス要件に基づいて専用リソースグループの自動 O&M ルールを作成できます。これにより、リソースグループの使用状況とリソースグループで待機しているインスタンス数に関するモニタリングアラートを設定し、関連する O&M 操作を実行できます。

自動 O&M 機能は、専用リソースグループのモニタリングルールを関連付け、対象のリソースグループで実行されているインスタンスのモニタリングメトリックをカスタマイズし、ビジネスロジックを含む O&M ルールを定義することによって機能します。インスタンスがフィルター条件を満たすと、指定された O&M アクションが自動的にトリガーされます。

1. オペレーションセンターへのアクセス。

2. リソースグループのモニタリングルールを作成します。

   1. 左側メニューで、モニタリングアラーム > ルール管理 を選択します。

   2. リソースグループのモニタリングルールを作成して設定します。

      リソースグループのモニタリングルールを設定する手順は、ノードの場合と似ています。オブジェクトタイプ を 専用スケジューリングリソースグループ に設定するだけです。設定の詳細については、「カスタムモニタリングルールの作成」をご参照ください。

      この例では、Exclusive_Scheduling_Resource リソースグループのリソース使用率がモニタリングされます。設定を次の図に示します。

      説明

      このトピックでは、デモンストレーションのみを目的とした設定例を提供します。設定を行う際には、使用するリソースグループのモニタリングルールを作成してください。

      Exclusive_Scheduling_Resource リソースグループのリソース使用率が 10 分間連続で 90% を超えた場合、Resource group monitoring rules ルールがトリガーされ、アラートがテキストメッセージで受信者に送信されます。最大 3 回のアラートを送信できます。

3. リソースグループのモニタリングルールに基づいて自動 O&M ルールを作成します。

   1. 左側メニューで、O&M アシスタント > 自動運用保守 を選択します。

   2. ルール管理 タブで、ルールを追加 をクリックします。

   3. ルールを設定します。

      ビジネス要件に基づいてルールを設定できます。設定の詳細については、「リソースグループの自動 O&M ルールの作成」をご参照ください。

      この例では、Automatic_test という名前のルールが作成され、独占スケジューリングリソースグループの Resource group monitoring rules 監視ルールに関連付けられます。Resource group monitoring rules ルールがトリガーされると、DataWorks は Automatic_test ルール内のフィルター条件を満たすインスタンスに対して、自動的に O&M 操作を実行します。次の図に設定を示します。以下に、いくつかのパラメーターについて説明します。

      • モニタリングルールの関連付け:：現在、専用スケジューリングリソースグループのモニタリングルールのみを関連付けることができます。事前に必要なリソースグループのモニタリングルールを作成しておく必要があります。

      • 運用保守操作：現在、実行中のインスタンスの終了 のみがサポートされています。O&M ルールがトリガーされると、DataWorks はフィルター条件を満たすインスタンスを停止します。

      Exclusive_Scheduling_Resource 排他スケジューリングリソースグループのリソース使用率が 10 分間連続で 90% を超えた場合、DataWorks は、指定されたワークスペースの Exclusive_Scheduling_Resource リソースグループで実行されている、優先度が 1 の時間単位および分単位のタスクを停止します。これらのタスクには、定期インスタンス、テストインスタンス、またはデータバックフィルインスタンスが含まれます。

O&M 操作制御 (高度)

オペレーションセンターは、ノードの凍結、ノードの凍結解除、データバックフィル、ノードのオフライン化などの操作のための拡張ポイントを提供します。これらの拡張ポイントを拡張機能と組み合わせて使用することで、タスクロジックと O&M 操作をカスタマイズできます。詳細については、「拡張機能の概要」および「例：オペレーションセンターでトリガーされるイベントの確認」をご参照ください。