Operation Center でのバッチ同期タスクの監視 - DataWorks

バッチ同期タスクを本番環境へコミットおよびデプロイした後は、オペレーションセンターを使用してスケジュール管理、モニタリング、トラブルシューティングを行います。このトピックでは、バッチ同期ノードに対して実行可能な運用保守（O&M）操作について説明します。具体的には、スケジュールの実行・一時停止・再開、既存データのバックフィル、アラート設定、リソースグループの管理、データ品質のモニタリング、実行ログの確認です。

前提条件

開始する前に、以下の条件を満たしていることを確認してください。

バッチ同期タスクが作成、デプロイされ、期待どおりに実行されていること。詳細については、「コードレス UI を使用してバッチ同期タスクを設定する」および「コードエディタを使用してバッチ同期タスクを設定する」をご参照ください。

開始前の確認事項

バッチ同期タスクに対して運用保守操作を実行する前に、以下の制約事項を確認してください。

リソースグループの要件

バッチ同期タスクは、スケジューリング用のリソースグループを介して Data Integration 用のリソースグループに発行されます。実行には両方のリソースグループが必要です。専用スケジューリングリソースグループを使用する場合、スケジューリングインスタンスの料金が発生します。詳細については、「概要」をご参照ください。

バッチ同期ノードをデプロイした後は、自動トリガー付きノードページ（オペレーションセンター、本番環境）に移動し、ノードコードおよびスケジューリング／Data Integration 用リソースグループの構成が正しく設定されているかを確認してください。

データソースの隔離（標準モードワークスペース）

標準モードのワークスペースでは、環境間でデータソースが隔離されます。

デプロイ前：タスクはデフォルトで開発環境のデータベースにアクセスします。
デプロイ後：タスクはデフォルトで本番環境のデータベースにアクセスします。

詳細については、「開発環境および本番環境でデータソースを分離する」をご参照ください。

本トピックの範囲

バッチ同期タスクの運用保守操作は、他の自動トリガー付きタスクと同一です。本トピックでは一般的な操作について説明します。完全なリファレンスについては、「自動トリガー付きタスクの基本的な運用保守操作」をご参照ください。

スケジュールおよびタスクの管理

DataWorks は、DataStudio の [プロパティ] タブで設定された [インスタンス生成モード] パラメーターに基づいて、デプロイされたバッチ同期タスクの自動トリガーインスタンスを生成します。スケジューリングシステムがインスタンスを自動的に実行します。また、テストやデータバックフィルのために、タスクを手動で実行することもできます。

操作	説明
タスクの実行	デプロイ後、スケジューリングシステムによりインスタンスが自動的に実行されます。自動トリガー付きインスタンスページ（オペレーションセンター）でインスタンスステータスを確認できます。手動実行の場合、テストインスタンスまたはデータバックフィルインスタンスを生成します。
タスクのフリーズ	自動トリガー付きノードページで、自動トリガー付きタスクをフリーズすると、そのスケジュールが一時停止されます。フリーズされたタスクおよびそのすべてのダウンストリームタスクは実行できません。タスクレベルのスケジュールに影響を与えることなく、特定のインスタンスおよびそのダウンストリームインスタンスのみを一時停止する場合は、代わりに自動トリガー付きインスタンスをフリーズしてください。
タスクのフリーズ解除	自動トリガー付きノードページで、自動トリガー付きタスクのフリーズを解除すると、スケジュールが再開されます。タスクとともにフリーズされていたインスタンスも実行を再開します。特定のフリーズ済み自動トリガー付きインスタンスおよびそのダウンストリームインスタンスを実行する場合は、当該自動トリガー付きインスタンスのフリーズを解除してください。

説明

デプロイ後にタスクが当日中に実行されるかどうかは、インスタンス生成モード の構成によって決まります。詳細については、「インスタンスの有効化モード」をご参照ください。

既存データのバックフィル

データバックフィルを使用すると、指定された履歴期間のデータを送信先のテーブルまたはパーティションへ同期できます。これは、増分データと既存データを同一パーティションへ書き込む必要がある場合に必須です。

バックフィル実行時に、システムは データタイムスタンプ パラメーターに指定した値を、対応するスケジューリングパラメーターの変数に割り当てます。これにより、各バックフィルインスタンスが適切な履歴タイムスライスを処理します。

バックフィルの実行およびバックフィルインスタンスの確認手順については、「データバックフィルおよびデータバックフィルインスタンスの確認（新バージョン）」をご参照ください。

アラートの設定

ルール管理ページでアラートルールを作成すると、タスクが特定の状態に達した際に通知を受け取ることができます。ルール管理を開くには、オペレーションセンター に移動し、左側ナビゲーションウィンドウから アラーム ＞ ルール管理 を選択します。

以下の状態に達した場合にアラートがトリガーされます。

アラート状態	説明
完了	タスクインスタンスが正常に終了しました。
未完了	タスクインスタンスがスケジュールされた時間枠内に終了しませんでした。
エラー	タスクインスタンスが失敗しました。
残業	タスクインスタンスが設定された最大実行持続時間を超過しました。

詳細については、「概要」をご参照ください。

リソースグループの管理

リソースグループ使用量のモニタリング

オペレーションセンターの リソース ページで、ご利用のノードを実行するリソースグループの使用量を確認できます。実行ログに長いキュー待ち時間が表示される場合は、より高い処理能力を持つリソースグループへの変更を検討してください。詳細については、「リソースの運用保守」をご参照ください。

リソースグループの変更

重要

リソースグループを変更する前に、新しいリソースグループとすべての必要なデータソースとの間にネットワーク接続が確立されていることを確認してください。ネットワーク接続が存在しない場合、ノードは実行に失敗します。

本番環境または開発環境のいずれかから、1 つ以上のタスクのリソースグループを変更できます。

環境	対象範囲	エントリポイント
本番環境	複数のタスクを同時に	オペレーションセンター＞自動トリガー付きノードの運用保守＞自動トリガー付きノードに移動します。タスクを選択し、ページ下部の Data Integration リソースグループの変更をクリックします。
開発	単一のタスク	DataStudio でタスクの構成タブを開き、右側ナビゲーションウィンドウからリソースグループ構成をクリックします。
開発	複数のタスクを一度に	DataStudio でツールバーのアイコンをクリックします。ノードタブでタスクを選択し、その他をクリックしてから、Data Integration リソースグループの変更を選択します。

説明

開発環境でリソースグループを変更した後は、タスクを本番環境へコミットおよび再デプロイしてください。

データ品質のモニタリング

Data Quality ページで、送信先テーブルのモニタリングルールを構成します。関連するスケジューリングノードが正常に実行された後に、ルールがトリガーされます。データ品質の例外が検出された場合、Data Quality はルールの種類に応じてタスクを失敗させ、ダウンストリームタスクをブロックすることで、ダーティデータのダウンストリームへの伝搬を防止します。

説明

データ品質モニタリングルールを構成する前に、スケジューリング用リソースグループと送信先との間にネットワーク接続が確立されていることを確認してください。

モニタリングルールをサポートする送信先および Data Quality の使用方法については、「概要」をご参照ください。

実行ログの確認

自動トリガー付きインスタンス、データバックフィルインスタンス、またはテストインスタンスが完了した後は、オペレーションセンターの DAG ページで実行ログを確認できます。詳細については、「付録：DAG で提供される機能の使用」をご参照ください。

ログパラメーターのリファレンスについては、「バッチ同期タスクで生成された実行ログの分析」をご参照ください。

同期統計情報の確認

オペレーションセンターの [O&M ダッシュボード] ページで、[データ統合] タブに移動し、[バッチ同期] サブタブをクリックします。このサブタブには、次の内容が表示されます：

ノード実行ステータスの分布
データ同期の進捗状況
同期されたデータ量
個別の同期タスクの詳細

ソース名、送信先名、またはインターネットトラフィックの有無でタスクをフィルターできます。

詳細については、「運用保守ダッシュボードページでの統計情報の確認」をご参照ください。

LogView の使用

説明

LogView は招待プレビュー版です。この機能を利用するには、テクニカルサポートまでお問い合わせください。

LogView は同期タスクに関するイベントベースのデータを収集・分析し、結果を視覚的に表示します。標準の実行ログよりも細かい粒度で、データ転送レートおよびログを確認できます。

LogView へのアクセス手順：

オペレーションセンターで、自動トリガー付きノードの運用保守 ＞ 自動トリガー付きインスタンス を選択します。
インスタンスの視点 タブで該当インスタンスを見つけ、アクション 列の 診断の実行 をクリックします。
表示されたページで、Data Integration タブをクリックします。インテリジェント診断の詳細については、「インテリジェント診断」をご参照ください。

Data Integration タブには、以下の 3 つのサブタブがあります。

サブタブ	説明
ログ	同期タスクの詳細なログ出力を確認できます。
進捗状況	同期メトリック（同期レコード数、同期バイト数、レコード同期レート、バイト同期レート）を確認できます。過去 15 日間のデータを時間範囲でフィルターできます。メトリック値をクリックすると、チャートでその推移を確認できます。
インスタンスの概要	自動トリガー付きインスタンスのみ利用可能です。同一サイクル内の異なるインスタンス間で、同期レート、同期レコード数、待機時間、同期持続時間を比較できます。

DataWorks:バッチ同期ノードの運用保守