DataStudio で作成されたバッチ同期タスクがコミットされ、本番環境にデプロイされると、オペレーションセンターに移動して、バッチ同期タスクの管理、タスクの状態の監視、タスクの実行に使用するリソースグループの変更、およびタスクの実行ログの表示を行うことができます。 これにより、同期タスクが期待どおりに実行されるようになります。 このトピックでは、バッチ同期タスクで実行できる一般的な運用と保守について説明します。
前提条件
バッチ同期タスクが作成、デプロイ、および期待どおりに実行されています。 詳細については、「コードレス UI を使用したバッチ同期タスクの設定」および「コードエディターを使用したバッチ同期タスクの設定」をご参照ください。
使用上の注意
バッチ同期タスクで実行できる運用と保守は、他のタイプの自動起動タスクで実行できる運用と保守と同じです。 このトピックでは、バッチ同期タスクで一般的な運用と保守を実行する方法について説明します。 自動起動タスクの運用と保守の詳細については、「自動起動タスクの基本的な運用と保守の実行」をご参照ください。
ノードをデプロイした後にバッチ同期ノードが期待どおりに実行されるようにするには、本番環境のオペレーションセンターの[自動起動ノード] ページに移動して、本番環境のノードの設定が要件を満たしているかどうかを確認します。 設定には、ノードのコード、ノードの実行に使用するスケジューリング用リソースグループと Data Integration 用リソースグループが含まれます。
バッチ同期タスクは、スケジューリング用リソースグループを使用して Data Integration 用リソースグループに発行されます。 したがって、バッチ同期タスクを実行するには、Data Integration 用リソースグループとスケジューリング用リソースグループの両方が必要です。 専用のスケジューリング用リソースグループを使用する場合、スケジューリングインスタンスの料金が発生します。 詳細については、「概要」をご参照ください。
標準モードのワークスペースは、データソースの分離をサポートしています。
タスクが本番環境にデプロイされる前は、システムは、タスクに追加したデータソースに対応する開発環境のデータベースまたはデータウェアハウスにデフォルトでアクセスします。
タスクが本番環境にデプロイされた後、システムは、タスクに追加したデータソースに対応する本番環境のデータベースまたはデータウェアハウスにデフォルトでアクセスします。
詳細については、「開発環境と本番環境でデータソースを分離する」をご参照ください。
バッチ同期タスクのスケジュールと管理
DataWorks は、バッチ同期タスクを実行するための強力なスケジューリング機能を提供します。 バッチ同期タスクのスケジューリングパラメーターを設定して、差分データとフルデータをデスティネーションテーブルの特定のパーティションに書き込むことができます。 バッチ同期タスクで実行できる運用と保守は、他のタイプの自動起動タスクで実行できる運用と保守と同じです。 バッチ同期タスクを手動で実行することもできます。
操作 | 説明 |
バッチ同期タスクの実行 | バッチ同期タスクを本番環境にデプロイした後、本番環境のオペレーションセンターの[自動起動ノード] ページに移動して、タスクを表示できます。 スケジューリングシステムは、スケジューリングパラメーターの設定に基づいてタスクを実行します。 タスクを手動で実行することもできます。
|
バッチ同期タスクのスケジューリングの停止 | オペレーションセンターの[自動起動ノード] ページで、一定期間、自動起動タスクをフリーズできます。 自動起動タスクをフリーズした後、自動起動タスクとその子孫タスクは実行できません。 説明 インスタンスは、タスクが実行された後に自動起動タスクに対して生成されます。 自動起動インスタンスとその子孫インスタンスを実行する必要がない場合は、現在の自動起動インスタンスをフリーズできます。 |
バッチ同期タスクのスケジューリングの再開 | オペレーションセンターの[自動起動ノード] ページで、自動起動タスクのフリーズを解除できます。 自動起動タスクのフリーズを解除した後、タスクは期待どおりに実行できます。 説明 フリーズされた自動起動タスクに対して生成されたインスタンスもフリーズされます。 フリーズされた自動起動インスタンスとその子孫インスタンスを実行する場合は、現在の自動起動インスタンスのフリーズを解除できます。 |
履歴データの同期
DataWorks では、バッチ同期タスクのスケジューリングパラメーターの設定とデータバックフィルの設定に基づいて、履歴データをデスティネーションデータベースまたはデータウェアハウスの指定されたテーブルまたはパーティションに同期できます。 差分データと履歴データをデスティネーションテーブルの指定されたパーティションに同期するようにバッチ同期タスクを設定する場合は、タスクのデータバックフィル設定を行う必要があります。 タスクのデータをバックフィルすると、システムは、[データタイムスタンプ] パラメーターに指定した値を関連するスケジューリングパラメーターの変数に割り当てます。 タスクのデータをバックフィルする方法の詳細については、「データのバックフィルとデータバックフィルインスタンスの表示 (新バージョン)」をご参照ください。
バッチ同期タスクの状態の監視
[ルール管理] ページで、アラートルールを作成して自動起動タスクの状態を監視できます。 [ルール管理] ページに移動するには、次の操作を実行します。 オペレーションセンターページの左側のナビゲーションペインで、 を選択します。 タスクが、完了、未完了、エラー、 overtime などの指定された状態になると、アラート通知が送信されます。 詳細については、「概要」をご参照ください。
リソースグループの運用と保守の実行
リソースグループの監視: オペレーションセンターの [リソース] ページで、ノードの実行に使用するリソースグループの使用状況を監視できます。 詳細については、「リソースの運用と保守」をご参照ください。
リソースグループの変更: 次の表に示すいずれかの方法を使用して、タスクの実行に使用するリソースグループを別のリソースグループに変更できます。
説明リソースグループを変更する前に、選択するリソースグループと必要なデータソースとの間にネットワーク接続が確立されていることを確認してください。 必要なネットワーク接続を確立しないと、ノードは実行に失敗します。
動作環境
サポートされている操作
エントリポイント
本番環境
複数のタスクのリソースグループを同時に変更する
オペレーションセンターページに移動します。 左側のナビゲーションペインで、 を選択します。
リソースグループを変更するタスクを選択し、[自動起動ノード] ページの下部にある[data Integration リソースグループの変更] をクリックします。
開発環境
説明開発環境でタスクのリソースグループを変更した後、タスクをコミットして本番環境に再度デプロイする必要があります。
単一ノードのリソースグループを変更する
複数のノードのリソースグループを同時に変更する
[datastudio] ページに移動します。
単一タスクのリソースグループを変更する
リソースグループを変更するタスクの設定タブに移動し、右側のナビゲーションペインで[リソースグループの設定] をクリックします。 [リソースグループの設定] タブで、タスクのリソースグループを変更できます。
複数のノードのリソースグループを同時に変更する
アイコンをクリックします。 [ノード] タブで、リソースグループを変更するタスクを選択し、タブの下部にある [詳細] をクリックして、[data Integration のリソースグループの変更] を選択します。
テーブルデータの品質の監視
[データ品質] ページで、一部のデスティネーションのテーブルの監視ルールを設定して、テーブル内のデータのデータ品質を監視できます。 テーブルの監視ルールを設定すると、テーブルを関連付けたスケジューリングノードが正常に実行された後に、監視ルールがトリガーされます。 例外が検出されると、データ品質は、チェック結果とルール設定 (ルールタイプなど) に基づいて、タスクを失敗させて子孫タスクをブロックするかどうかを判断します。 これにより、ダーティデータがダウンストリームデータとして転送されるのを防ぎます。 監視ルールをサポートするデスティネーションとデータ品質の使用方法の詳細については、「概要」をご参照ください。
バッチ同期タスクによって生成されたテーブルの監視ルールを設定する場合は、タスクの実行に使用するスケジューリング用リソースグループとデスティネーションとの間にネットワーク接続が確立されていることを確認してください。
バッチ同期タスクの実行ログの表示
自動起動タスクインスタンス、データバックフィルインスタンス、またはテストインスタンスが正常に実行された後、オペレーションセンターの [DAG] ページに移動して、インスタンスの実行ログを表示できます。 詳細については、「付録: DAG で提供される機能を使用する」をご参照ください。
実行ログのパラメーターの詳細については、「バッチ同期タスクに対して生成された実行ログの分析」をご参照ください。
バッチ同期タスクの統計の表示
オペレーションセンターの[運用と保守ダッシュボード] の [Data Integration] タブの下にある[バッチ同期] サブタブで、ノードの実行状況の統計 (実行状況の分布、データ同期の進捗状況、同期されたデータ量、同期タスクの詳細など) を表示できます。 ソース名、デスティネーション名、インターネットトラフィックが存在するかどうかなどのフィルター条件に基づいて、目的の同期タスクを検索できます。 詳細については、「運用と保守ダッシュボードページの統計の表示」をご参照ください。
LogView を使用してタスクの実行情報を表示する
この機能は招待プレビュー中です。 この機能を使用する場合は、技術担当者にお問い合わせください。
Data Integration の LogView 機能は、イベントに基づいて Data Integration のデータ同期タスクに関するデータを収集し、データを分析および処理し、分析結果と処理結果を視覚化された方法で表示するために使用されます。 LogView は、データ同期タスクのデータ転送速度やログなどの情報を、よりきめ細かい粒度で表示および分析できます。
[オペレーションセンター] の左側のナビゲーションペインで、[自動起動ノードの運用と保守] > [自動起動インスタンス] を選択します。 [インスタンスパースペクティブ] タブで、目的のインスタンスを見つけて、[アクション] 列の[診断の実行] をクリックします。
表示されるページで、[data Integration] タブをクリックします。
インテリジェント診断サブタブ
説明
[ログ]
[ログ] サブタブで、Data Integration 同期タスクのログの詳細を表示できます。
[進捗状況]
[進捗状況] サブタブで、Data Integration 同期タスクの進捗状況情報を表示できます。 進捗状況情報には、[同期されたデータレコードの数]、[同期されたバイト数]、[同期されたデータレコードの同期率]、[同期されたバイトの同期率] が含まれます。
このサブタブでは、次の操作も実行できます。
時間ピッカーを使用して、指定された期間のバッチ同期タスクの同期情報を検索します。
説明過去 15 日間のタスクの同期詳細を表示できます。
[プロセス] セクションで、
アイコンをクリックして、表示する列を選択します。[プロセス] セクションで、タスクのメトリックの値をクリックして、曲線チャートでメトリックの値の変化を表示します。
[インスタンスの概要]
インスタンスが自動起動インスタンスの場合、[インスタンスの概要] サブタブで、さまざまなサイクルのさまざまなディメンションのインスタンスの比較詳細を表示できます。
[タスク] セクションで、タスクの状態と[インスタンス ID] を表示できます。 [インスタンス ID] をクリックして、タスクの詳細を表示できます。
また、棒グラフで、さまざまなインスタンスの[同期率]、[同期されたレコードの数]、[待機時間]、[同期期間] を比較することもできます。