Data Integration の同期タスクが本番稼働すると、実行の遅延、タスクの失敗、リソース使用率の変動といった問題を継続的に追跡する必要があります。インテリジェント検査タスクは、設定された実行頻度で同期タスクの実行ステータスをプロアクティブにチェックし、実行ごとに根本原因診断を含む結果詳細レポートを生成します。運用保守モニタリングは、異常イベントが発生した際に自動的に実行情報を収集して原因を分析し、タスクの復旧を継続的に追跡します。これらの機能はどちらも Data Integration の Data Agent によって実行され、反復的な手動のトラブルシューティングを、自動化された定期的なチェックとリアルタイムのレスポンスに変えます。
機能概要
インテリジェント検査タスクと運用保守モニタリングは、それぞれ定期的およびアドホックな運用保守のニーズに対応します。必要に応じて、個別に使用することも、組み合わせて使用することもできます。
機能 | 位置づけ | トリガー方法 | 主なアウトプット |
インテリジェント検査タスク | 定期的なプロアクティブチェック | 設定された頻度でスケジュールに従って実行されるか、手動でトリガー可能です | 根本原因診断を含む結果詳細レポート |
運用保守モニタリング | リアルタイムのイベントレスポンス | シナリオで設定されたイベントとしきい値にタスクがヒットしたときにトリガーされます | モニタリング記録と復旧追跡の結論 |
インテリジェント検査タスクは、Data Integration の同期タスクの運用保守シナリオに適用されます。エントリポイントは、Data Integration の左側のナビゲーションペインにある AI ネイティブ グループの配下にあります。このグループが表示されない場合、現在の環境ではこの機能は利用できません。
前提条件
初めてインテリジェント検査タスクと運用保守モニタリングを使用する前に、以下の準備を完了してください。
DataWorks の Data Integration コンソールに移動します。
左側のナビゲーションペインで、[AI ネイティブ] 配下にある [Data Agent] を見つけます。
お使いのアカウントで [Data Agent] が有効化されていない場合は、画面の指示に従って購入してください。購入が完了すると、Data Integration の Data Agent ページにアクセスできます。
初めて Data Integration の Data Agent を使用する前に、テナント内のサーバーレスリソースグループに少なくとも 2 CU の利用可能なリソースクォータがあることを確認してください。リソースグループが存在しない場合は、サーバーレスリソースグループを作成します。
インテリジェント検査タスクと O&M モニタリングは、いずれもデータエージェントによって実行され、各実行でトークンが消費されます。 検査タスクの実行記録では、追跡しやすいように各実行のトークン消費量が表示されます。 トークン消費の規模と課金については、「課金」をご参照ください。
インテリジェント検査タスク
インテリジェント検査タスクは、Data Agent によって作成および管理される自動化された検査タスクです。検査シナリオを選択し、実行頻度を設定すると、Data Agent は定期的に同期タスクの実行ステータスをチェックし、その結論をオンラインでの表示やダウンロードが可能な結果詳細レポートとして生成します。
組み込みの検査シナリオ
タスクリストページの上部には、推奨シナリオカードが表示され、リアルタイム同期とバッチ同期の一般的な運用保守ニーズに対応しています。各カードには、シナリオ名、シナリオの説明、およびデフォルトの実行頻度が表示されます。カードをクリックすると、シナリオテンプレートを使用して検査タスクを作成できます。
シナリオ | 焦点 | デフォルトの実行頻度 |
リアルタイム同期の遅延検査 | 実行中のリアルタイムタスクのビジネス遅延とメッセージバックログ。これには、現在値、過去 24 時間の傾向、しきい値を超えた遅延イベントが含まれます。 | 毎時 |
リアルタイム同期の例外と復旧検査 | 現在の1時間枠内に発生したリアルタイムタスクのフェイルオーバーと実行失敗。短期的に繰り返される例外と未復旧のタスクに焦点を当てます。 | 毎時 |
リアルタイム同期ワークスペースのリソース使用率検査 | 現在のワークスペースにおけるリアルタイム同期タスクの CU とメモリの使用率、および残りのキャパシティ。 | 毎時 |
バッチ同期の前日の健全性と修正検査 | 前日のバッチ同期タスクの全体的な健全性。注意が必要な新規失敗タスクと復旧済みタスクをリストアップします。 | 毎日 |
バッチ同期の実行変動検査 | 前日と前々日の実行全体の変動を比較し、異常な増加が見られる時間帯と共通の影響範囲を特定します。 | 毎日 |
バッチ同期の前日のデータ量異常検査 | 前日に正常に実行されたバッチタスクのデータ量がゼロに減少したか、大幅に減少したか、または異常に増加したかどうか。 | 毎日 |
データソースのタスク例外検査 | データソースごとにタスクの例外を集約し、接続、認証、ネットワーク、または読み書きの問題が複数のタスクに同時に影響しているかどうかを特定します。 | 毎時 |
インテリジェント検査タスクページへのアクセス
DataWorks コンソールにログインし、ワークスペースに移動してから Data Integration を開きます。
Data Integration の左側のナビゲーションペインで、AI ネイティブ > 定期タスク を選択して、インテリジェント検査タスクのリストページに移動します。
インテリジェント検査タスクの作成
インテリジェント検査タスクは、以下のいずれかの方法で作成できます。要件に基づいて方法を選択してください。
推奨シナリオカードの使用 — すぐに利用できる一般的な検査ニーズに適しています。リストページの上部にある推奨シナリオカードエリアで、使用したいカードをクリックします。システムがシナリオテンプレートを使い、作成フォームにタスク名、説明、タスクコンテンツ、実行頻度などを事前入力します。設定を確認または調整して作成を完了します。
[Agent チャットによる作成] — 検査のニーズを自然言語で記述したい場合に適しています。タスクリストページで、定期タスクの新規作成 をクリックし、ドロップダウンメニューから Agent チャットによる作成 を選択します。Data Agent チャットウィンドウで、どの同期タスクを検査するか、どの実行メトリクスに焦点を当てるかなど、検査したい内容を記述します。Data Agent が検査タスクの生成と作成を支援します。
[手動作成] — 検査内容、実行頻度、リソースグループを完全にカスタマイズする必要がある場合に適しています。タスクリストページで、定期タスクの新規作成 をクリックし、ドロップダウンメニューから 手動作成 を選択します。定期タスクの手動作成 ダイアログボックスで、次の表で説明するパラメーターを設定し、タスクを送信します。
パラメーター | 必須 | 説明 |
[タスク名] | はい | 検査タスクの名前。名前は最大 50 文字で、タスクの命名規則に準拠する必要があります。 |
[説明] | いいえ | タスクの説明。タスクリストでタスクを識別するのに役立ちます。 |
[リソースグループ] | はい | スケジューリングモジュールが検査タスクを実行するためのサーバーレスリソースグループを選択します。 |
[実行頻度] | はい | タスクのスケジューリング周期。有効な値:1 回、毎時、毎日、毎週、毎月、およびカスタム Cron 式。デフォルト値:毎日 08:00。 |
[タスク内容] | はい | 検査内容を自然言語で記述します。Data Agent は実行ごとにこの記述を解析して実行します。例:プロジェクト内のすべての同期タスクに対して健全性検査を実行します。タスクのステータス、同期の遅延、リソース使用状況を確認します。 |
タスクが作成されると、自動的にタスクリストページに戻り、新しく作成されたタスクが表示されます。
インテリジェント検査タスクの管理
タスクリストページの上部には、[推奨シナリオをクリックして、素早く作成できます。]というヒントとともに推奨シナリオカードが表示されます。カードの下には、作成したすべての検査タスクを一元管理するタスクリストがあります。タスクリストには次の情報が表示され、タスク名、ID、または説明による検索に対応しています。
列 | 説明 |
[タスク名 / ID] | タスク名と一意の識別子。タスク名をクリックすると、そのタスクの実行履歴に移動します。 |
[自動スケジューリング] | 自動スケジューリングのステータス。有効な値:有効 および 無効。 |
[実行頻度] | タスクのスケジューリング頻度。わかりやすい形式で表示されます。 |
[説明] | タスクの目的の説明。 |
[リソースグループ] | タスクを実行するリソースグループの名前。 |
[変更日時] | タスクが最後に変更された日時。 |
各タスクでは、以下の操作が可能です。
自動スケジューリングの有効化 / 自動スケジューリングのシャットダウン:設定された実行頻度でタスクを定期的に実行するかどうかを制御します。実行頻度が設定されていないタスクでは、自動スケジューリングを有効にすることはできません。まずタスク詳細ページに移動して実行頻度を設定する必要があります。
タスク詳細:基本情報、スケジューリング設定、ランタイムリソース、およびタスクコンテンツを表示および編集します。
実行レコード:過去の実行記録と各実行の結果詳細レポートを表示します。
その他 メニューには、次の操作が含まれます。
今すぐ実行:次のスケジュールサイクルを待たずに、タスクの実行を直ちにトリガーします。タスクコンテンツにスケジューリングパラメーター変数が含まれている場合は、タスクを実行する前に各変数の置換値を指定する必要があります。
クローン:現在のタスクに基づいて新しいタスクを作成します。新しいタスクの名前を指定する必要があります。
削除:タスクを削除します。この操作は元に戻せません。慎重に実行してください。
タスク詳細の表示
タスクリストの [操作] 列で タスク詳細 をクリックして、タスク詳細ページに移動します。詳細ページには 4 つのセクションがあります。
基本情報:タスク名、タスク ID、最終変更日時、および説明を表示します。これらのフィールドは編集できます。
スケジューリング設定:自動スケジューリング の切り替えと 実行頻度 の設定を管理します。
実行中のリソース:タスクが使用するリソースグループを表示し、変更できます。
タスク内容:Data Agent が各実行時に実行するタスクコンテンツを表示します。コンテンツを手動で直接編集するか、ページ上部の インテリジェント編集 をクリックして Data Agent と対話してタスクコンテンツを変更し、ビジネスの進化に合わせて検査範囲を継続的に調整できます。
実行記録の表示
タスクリストの [操作] 列で 実行レコード をクリックして、実行記録ページに移動します。ページは 3 つのエリアに分かれています。過去の実行記録を選択すると、その実行の実行概要と結果詳細レポートを表示できます。
[実行履歴]: ページの左側にあり、このエリアにはタスクの実行総数とすべての実行記録が表示されます。各記録には、実行ステータス (実行中、未実行、失敗、および 完了)、トリガーメソッド (手動トリガー または 定時トリガー)、期間、開始時刻と終了時刻([未実行] ステータスの記録には推定実行時間が表示されます)、実行中のインスタンス ID、および Token 消費 が含まれます。実行ステータスによって記録をフィルタリングできます。
稼働概要:ページの右上エリアにあります。このセクションには、選択した実行記録の 実行中のインスタンス ID、実行状態、リソースグループ、開始時間、終了時間、所要時間、トリガー方式、および Token 消費 が表示されます。このセクションでは、運用ログ をクリックして実行ログを表示したり、会話の全文を表示 をクリックしてその実行での Data Agent の完全な会話ログを表示したりできます。タスクの実行中に 停止 をクリックして現在の実行を終了することもできます。実行が失敗した場合、実行ログと完全な会話ログを使用して失敗の原因を特定できます。
結果の詳細レポート:ページの右下エリアにあります。このセクションには、実行によって生成された検査レポートが表示されます。レポートがサーバーで生成されると、ページ上で直接プレビューされます。新しいウィンドウで開く をクリックして新しいブラウザタブでレポートを表示したり、ダウンロード をクリックしてチーム内での共有やアーカイブのためにレポートをローカルに保存したりできます。
結果詳細レポートの内容
レポートの内容は検査シナリオによって異なります。以下の例では、バッチ同期の前日の健全性と修正検査シナリオを使用します。レポートには次の 4 つのセクションが含まれます。
[健全性の要約と概要]:統計期間内に完了したインスタンスの数、成功と失敗の数、成功率と失敗率を、視覚的な割合グラフとともに表示します。また、フォローアップリストに追加され、まだ対応が必要なタスクの数を明示的にリストアップします。
[タスクレベルの根本原因診断]:レビュー対象の各タスクの根本原因を分類し、新規の失敗、継続的な失敗、ベースラインの不足などのタイプを区別します。統計期間の終了からレポート生成までの間の最新インスタンスの最終ステータスに基づいて、復旧ステータスが決定されます。値の例として、期間後も失敗しており対応が必要、期間後に復旧し対応不要、期間後に再実行中で要観察、後続の実行がなく失敗しており要確認、などがあります。
[共通の根本原因分析]:同じ根本原因を共有する失敗を特定します。たとえば、同じテーブルまたは同じフィールドの問題により、複数のタスクが同時に失敗する場合があります。この場合、関連する設定項目を優先的に確認します。問題を修正した後、各タスクを個別にトラブルシューティングするのではなく、影響を受けたタスクをまとめて再実行できます。
[詳細な根本原因診断と推奨されるアクション]:失敗した各タスクについて、同期方向 (例:MySQL から MaxCompute へ) 、リソースグループ、初回および最新の失敗時刻、失敗時刻の分布、前日のステータス、表面的なエラーメッセージ、根本原因分析、および実行可能な推奨事項を提供します。
運用保守モニタリング
運用保守モニタリングは、リアルタイムおよびオフラインのデータ同期パイプラインにおける異常対応向けに設計されています。モニタリングシナリオを選択してタスクに適用すると、システムがシナリオで設定されたイベントがトリガーされたときに、自動的にランタイム情報を収集し、根本原因を分析し、タスクの復旧状況を継続的に追跡します。
[要確認: O&M モニタリングのコンソールエントリパス (データ統合の左側のナビゲーションペインにおける具体的な場所、およびインテリジェント点検タスクと同じ AI Native グループに属するかどうか)、および前提条件 (リソースグループが必要か、また追加の有効化が必要か)。]
シナリオとイベントの関係
運用保守モニタリングはシナリオによって管理されます。シナリオはイベントの集合です。設定手順は次のとおりです。
シナリオに適用可能なタスクタイプを定義し、どの同期タスクにシナリオを適用できるかを決定します。
シナリオ内に複数のモニタリングイベントを設定し、各イベントのトリガーしきい値を設定します。
特定の同期タスクにシナリオを適用します。シナリオが適用された後、個々のタスクのイベントしきい値を上書きして、重要なタスクのモニタリングを微調整できます。
[確認予定:カスタム監視シナリオの作成、イベントしきい値の設定、タスクへのシナリオの適用、および個々のタスクのしきい値の上書きに関する詳細な UI 操作手順と設定項目の説明。]
組み込みのモニタリングシナリオ
システムには、適用可能なタイプの同期タスクに直接適用できる、以下の組み込みモニタリングシナリオが用意されています。
モニタリングシナリオ | 適用可能なタスクタイプ | モニタリングイベント | トリガー後の自動分析 |
リアルタイム同期の遅延モニタリング | データベース全体のリアルタイム同期タスク、単一テーブルのリアルタイム同期タスク | ビジネス遅延が継続的にしきい値を超える | ソース、同期リンク、デスティネーションを自動的に分析し、潜在的なパフォーマンスのボトルネックを特定します。 |
リアルタイム同期の実行モニタリング | データベース全体のリアルタイム同期タスク、単一テーブルのリアルタイム同期タスク | リアルタイム同期タスクの失敗、頻繁なフェイルオーバーの発生 | 例外の原因を自動的に分析します。 |
バッチ同期の実行モニタリング | データベース全体のバッチ同期タスク | データベース全体のバッチ同期タスクの失敗、バッチ増分インスタンスの失敗 | 実行情報を自動的に収集し、対処の提案を提供します。 |
どのイベントに一致したかにかかわらず、運用保守モニタリングは分析完了後も、タスクが回復するまでその状況を継続的に追跡します。
モニタリング記録の表示
トリガーされた各モニタリングイベントはモニタリング記録として記録され、追跡可能な運用保守台帳が作成されます。各記録には、トリガー時刻、イベントに一致したタスク、一致した特定のイベント、分析の結論、およびタスクが回復したかどうかが表示されます。これにより、事後レビューと責任の所在の明確化が容易になります。
[要確認: 監視レコードリストの全フィールド、フィルターと検索条件、およびレコード詳細における分析結果の表示形式 (検査レポートと一致するかどうか、および新しいウィンドウで開くこととダウンロードがサポートされているかどうか)。]
シナリオ選択の推奨
運用保守の要件に基づいて検査シナリオを選択します。例外発生時に即時対応が必要なパイプラインについては、対応するモニタリングシナリオをさらに設定できます。
運用保守の要件 | 推奨される検査シナリオ | 推奨されるモニタリングシナリオ |
大規模なプロモーションなどのピーク期間中に、リアルタイムデータウェアハウスのパイプラインを保護。注文、支払い、物流データの遅延は、リアルタイムダッシュボードや運用上の意思決定に直接影響します。 | リアルタイム同期の遅延検査 | リアルタイム同期の遅延モニタリング、リアルタイム同期の実行モニタリング |
早朝にオフラインのバッチ処理の日次ジョブが完了した後、業務開始時に、失敗したタスク、復旧したタスク、およびまだ注意が必要なタスクのリストがすぐに必要になります。 | バッチ同期の前日の健全性と修正検査 | バッチ同期の実行モニタリング |
多くのタスクが同じデータソースセットを共有している。データベースのパスワード変更、ネットワークのジッター、または権限の調整により、多数のタスクが同時に失敗する可能性がある。例外が同じデータソースから発生しているかどうかを判断する必要があります。 | データソースのタスク例外検査 | なし |
フィルター条件の誤った変更、フィールドの削除、またはその他の設定変更により、タスクが空の結果を返すか失敗する可能性がある。下流のタスクが影響を受ける前に、このような問題を検出する必要があります。 | バッチ同期の前日のデータ量異常検査、バッチ同期の実行変動検査 | なし |
リアルタイム同期タスクは継続的に CU とメモリリソースを消費します。使用率が過度に高いとキャパシティの制限に達し、タスクの安定性に影響を与える可能性があります。一方、使用率が過度に低い場合はリソースの無駄を示します。キャパシティの拡張やコスト最適化の決定をサポートするためのデータが必要です。 | リアルタイム同期ワークスペースのリソース使用率検査 | なし |
課金
インテリジェント検査タスクと運用保守モニタリングは Data Agent によって提供される機能で、大規模言語モデルを呼び出して分析を実行します。現在使用されているモデルは DeepSeek-v4-flash であり、トークン消費量に基づいて課金されます。料金の詳細については、「モデル推論の料金」をご参照ください。典型的な消費量の目安は次のとおりです。
機能 | 測定単位 | トークン消費量 | 概算コスト |
インテリジェント検査タスク | 検査タスク1回の実行あたり | 約 500,000 トークン | 約 1 中国人民元 |
運用保守モニタリング | 1つのモニタリングシナリオがトリガーされた1日あたり | 約 100,000,000 トークン | 約 100 中国人民元 |
検査タスクの各実行では、実行記録に実際のトークン消費量が表示され、使用状況の確認に利用できます。