DataWorks:Data Integration DI Agent

説明

DI Agent を使用すると、バッチ単一テーブル、リアルタイム単一テーブル、バッチデータベース全体、リアルタイムデータベース全体の 4 種類の同期タスクを自然言語で作成および管理できます。データソース、フィールドマッピング、スケジューリングポリシーのフォームフィールドを 1 つずつ入力する代わりに、同期要件を記述するだけで、Agent が意図理解からデプロイまでのプロセス全体を完了します。主な機能は次のとおりです：

• 自然言語によるタスク作成：同期要件を 1 文で記述するだけで (例：「RDS の注文データベース全体を日次パーティションで Hologres にリアルタイムで同期する」)、Agent はデータソースの特定、スキーマの検出、フィールドマッピング、リソースグループの割り当て、スケジューリングポリシーの設定を自動的に完了します。

• 意図理解とマルチターンでの会話：Agent は、曖昧または不完全な要件の説明を理解し、フォローアップの質問をして主要なパラメーター (パーティション戦略や増分条件など) を補完し、生成されるタスク設定が正確で利用可能であることを保証します。

• タスクの完全なライフサイクル管理：会話を通じてタスクの編集、一時停止、再開、削除、再実行ができ、タスクの作成から廃止までの完全なライフサイクルを網羅します。

• バッチタスク操作：1 回の会話で複数の同期タスクを作成または変更でき、データベース全体の移行やスケジューリングポリシーの一括調整などのシナリオに適しています。

例

次の例は、会話を通じて同期タスクを作成する方法を示しています：

1. DI Agent の会話インターフェイスに移動します。

2. 同期要件を入力します。例：「RDS の注文データベース全体を日次パーティションで Hologres にリアルタイムで同期する」。

3. Agent はソーススキーマを自動的に検出し、同期するテーブルのリストを表示し、確認後に続行します。

4. Agent はフィールドマッピング、リソースグループの割り当て、スケジューリングポリシーの設定を自動的に完了します。

5. タスク設定の概要をプレビューし、すべてが正しいことを確認した後にタスクをデプロイします。

6. タスクの実行ステータスを確認し、データが正しく同期されていることを検証します。

説明

DI Agent を使用すると、大規模言語モデルの推論を ETL オペレーターとしてデータパイプラインに埋め込み、あらゆるソースからの構造化および非構造化データ (画像、動画、音声ファイル、ドキュメントなど) に対してバッチ AI 処理を実行できます。処理操作には、認識、分類とタグ付け、文字起こし、翻訳、要約、ベクトル化、カスタム処理ロジックが含まれます。結果は、Data Integration でサポートされている任意の宛先 (MaxCompute、Hologres、Data Lake Formation (DLF) など) に直接書き込まれ、あらゆる種類のデータが適切な形式で企業のデータ資産システムに取り込めるようになります。主な機能は次のとおりです：

• 自然言語による処理ロジックの定義：処理の意図を自然言語で記述するだけで (例：「画像内の製品カテゴリを識別し、ラベルを出力する」)、Agent が対応する処理パイプラインの設定を自動的に生成します。

• 3 段階のパイプラインオーケストレーション：Agent は、スクリプトの作成や推論サービスの設定を必要とせずに、ソース → 変換 (大規模モデル推論) → シンクのパイプラインを自動的にオーケストレーションします。

• さまざまな宛先への直接的な結果の書き込み：たとえば、処理結果は追加のデータ転送なしで MaxCompute、Hologres、または DLF のデータレイクに直接書き込まれます。

• データ埋め込み：処理されたデータをベクトル化し、後続の RAG で使用するために指定されたストレージの宛先に書き込みます。

• バッチ実行と定期実行：数百万のファイルのバッチ処理をサポートし、増分データを継続的に処理するために定期的な実行をスケジュールできます。

例

次の例は、AWS S3 の製品画像を処理し、結果を MySQL に書き込む方法を示しています：

1. AI データ処理のエントリポイントに移動します。

2. 処理要件を入力します。例：「AWS S3 バケットから製品画像を読み取り → 大規模モデルを呼び出して分類ラベルを識別 → 結果を MySQL テーブルに書き込む」。

3. Agent は、ソース (S3) → 変換 (大規模モデル推論) → シンク (MySQL) の 3 段階のパイプラインを自動的にオーケストレーションします。

4. ChatDB は自動的にターゲットテーブルを特定し、対応する SQL 文を生成します。

5. View the returned chart results (line charts, bar charts, and other chart types are automatically matched).

6. RAG で使用するために、特徴量エンジニアリングデータベースのデータを Hologres にベクトル化する必要がある場合は、自然言語で埋め込みを定義できます：「埋め込みを続行 → 大規模モデルを呼び出してベクトル化 → 結果を Hologres テーブルに書き込む」。

7. Agent は、ソース (MySQL) → 変換 (大規模モデルのベクトル化) → シンク (Hologres) の 3 段階のパイプラインを自動的にオーケストレーションします。

8. ChatDB は自動的に対象のテーブルを識別し、対応する SQL 文を生成します。

9. 返された結果を表示します。

データソーススキーマとビジネスセマンティクスのクエリ

ChatDB を使用すると、自然言語を使用してデータベースのメタデータを探索し、ビジネスセマンティクスを解釈できます。ターゲットデータソースを指定すると、Agent は自動的に接続し、テーブル名、フィールドタイプ、主キーと外部キーの関係、インデックス制約、その他のメタデータの詳細を含む、データベース、テーブル、フィールドの完全な構造をドリルダウンして表示します。Agent はまた、テーブル名、フィールドの命名規則、データ特性に基づいてデータベースとテーブルのビジネスセマンティクスを解釈し、各テーブルの目的、フィールドが表すビジネスコンセプト、テーブル間の関係を迅速に理解するのに役立ちます。

ユースケース：不慣れなシステムを引き継ぐ際のデータランドスケープ全体の迅速な理解、およびチーム間のコラボレーション中に技術者以外のチームメンバーがデータ構造を理解するのを支援します。

データソースのサンプルデータプレビュー

ChatDB を使用すると、自然言語を使用して任意のテーブルのサンプルデータを表示できます。ターゲットテーブルを指定すると、Agent は代表的なデータサンプルを説明付きで自動的に取得するため、SQL を記述することなく、テーブルに保存されているデータの内容と形式を視覚的に確認できます。

ユースケース：データの内容を迅速に検証し、実際のフィールド値を理解すること、およびチーム間のコラボレーション中に技術者以外のチームメンバーがデータセマンティクスを理解するのを支援します。

グラフ視覚化による統計分析

ChatDB は、自然言語駆動のデータ分析と視覚化をサポートしています。分析の意図を記述するだけで (例：「過去 3 か月間のカテゴリ別売上トレンドを表示」または「地域間の注文比率を比較」)、Agent は自動的にデータソースを特定し、クエリロジックを生成し、分析結果を折れ線グラフ、棒グラフ、円グラフ、またはその他のグラフで表示します。SQL や専門的な視覚化ツールは不要です。

ユースケース：ビジネスチームによる運用仮説の迅速な検証、および技術チームによるトラブルシューティング中のトレンドデータの即時取得。

スキーマの診断と最適化の推奨

ChatDB は、指定されたデータソースのデータベースおよびテーブルスキーマのインテリジェントな診断をサポートしています。Agent は、ターゲットデータベースのテーブルスキーマ設計を自動的にスキャンし、命名規則、フィールドタイプの選択、インデックスカバレッジ、主キーと外部キーの整合性、冗長フィールド、パーティション戦略など、複数の観点からレビューします。潜在的な設計上の欠陥を特定し、具体的な最適化の推奨と改善の方向性を提供します。

ユースケース：新しく作成されたデータベースとテーブルの設計レビュー、既存システムの技術的負債の評価、およびデータベースのパフォーマンス問題の根本原因分析。

データベースのパフォーマンストラブルシューティングと最適化

ChatDB は、データベースのパフォーマンス診断と低速 SQL の根本原因分析をサポートしています。パフォーマンスの問題を記述するか、ターゲットデータソースを指定すると、Agent は、フルテーブルスキャン、インデックスの無効化、最適でない JOIN の順序、深くネストされたサブクエリ、暗黙のデータ型変換、古い統計情報、ロック競合、ホットテーブルなど、低速クエリの原因となる要因を自動的に分析します。実際の実行計画に基づいて各低速 SQL 文の根本原因を説明し、インデックスの調整、クエリの書き換え、テーブルスキーマのリファクタリングなど、的を絞った最適化の推奨事項を提供します。

ユースケース：本番環境での突然のパフォーマンスインシデントに対する緊急トラブルシューティング、および定期的な検査中の潜在的な低速クエリのプロアクティブな管理。

概要

同期タスクのアラートを受信した後、Agent の会話インターフェイスで問題を記述するか、アラート情報を貼り付けます。Agent は、タスクログ、リソース監視メトリクス、ソースデータベースのステータスなどの多次元情報を自動的に集約し、根本原因を特定し、修復計画を提供します。これにより、トラブルシューティングの時間が数時間から数分に短縮されます。各診断結果はナレッジベースのエントリとして自動的にアーカイブされるため、次回同様の問題が発生した際には、既存のソリューションが直接照合され、担当者が変更になってもゼロから始める必要がなくなります。主な機能は次のとおりです：

• 多次元情報の集約：タスクログ、リソース監視メトリクス、ソースデータベースのステータス、ネットワーク帯域幅、その他の多次元情報を自動的に収集および関連付け、完全なコンテキストを単一のビューに表示します。

• 根本原因の特定：集約された情報 (CU 不足、ソース側のテーブルロック、ネットワーク帯域幅のボトルネック、設定エラーなど) に基づいて根本原因を自動的に分析し、明確な結論を提供します。

• ワンクリック実行による修復の推奨：根本原因を特定した後、Agent は実行可能な修復の提案 (リソースグループのスケールアップ、インスタンスの再起動、同時実行数の調整など) を提供します。確認後、ワンクリックで修正を実行できます。

• ナレッジの自動蓄積：各診断結果はナレッジベースのエントリとして自動的にアーカイブされるため、次回同様の問題が発生した際には、既存のソリューションが直接照合されます。

使用例

1. アラートがトリガーされた後、Agent の会話インターフェイスを開き、問題を記述するか、アラート情報を貼り付けます。

2. Agent は、タスクログ、リソース監視メトリクス、ソース側のステータスなどの多次元情報を自動的に集約します。

3. Agent は根本原因分析レポートを出力します (例：CU 不足により、消費率が生産率を下回っている)。

4. Agent は修復の推奨 (例：リソースグループの CU クォータのスケールアップ、または失敗したインスタンスの再起動) を提供します。確認後、修正が実行されます。

概要

DI Agent は、AI Agent によって作成および管理される自動化されたインテリジェントな検査タスクを提供します。監視スクリプトを作成したり、アラートルールを設定したりする必要はありません。検査タスクを作成して自動スケジューリングを有効にすると、Agent は設定された頻度で同期タスクの実行ステータスをプロアクティブに検査し、実行ごとに詳細な結果レポートを生成します。これにより、O&M モデルが事後対応からプロアクティブなガバナンスに移行します。主な機能は次のとおりです：

• 設定可能な実行頻度：実行頻度は Cron 式を使用して設定され、1 回限り、毎時、毎日、毎週、毎月、およびカスタムの Cron スケジュールをサポートします。デフォルトは毎日 08:00 です。自動スケジューリングを有効にする前に、実行頻度を設定する必要があります。

• パイプライン全体のプロアクティブなスキャン：Agent は、すべての同期パイプラインの実行ステータスを定期的に自動スキャンし、手動で項目ごとにチェックすることなく、潜在的なリスクをプロアクティブに特定します。

• 詳細な結果レポート：各検査の後、詳細な結果レポートが生成されます。レポートはタスクの実行履歴から表示できます。レポートは新しいウィンドウで開くか、チームでの共有やアーカイブのためにダウンロードできます。

• 優先順位付けと推奨アクション：リスクの高いタスクは、影響範囲と緊急度によってランク付けされ、各項目には具体的な推奨アクションと期待される効果の評価が付随します。

使用例

1. Data Integration コンソールにログインします。 左側のナビゲーションウィンドウで、AI ネイティブ の 定期タスク をクリックします。

2. 巡回タスクを作成します。定期タスクの新規作成 をクリックし、ドロップダウンメニューから Agent チャットによる作成 または 手動作成 を選択します。または、ページ上部の推奨シナリオカードをクリックして、組み込みのシナリオテンプレートからタスクをすばやく作成することもできます。タスクを手動で作成するには、タスク名、説明、リソースグループ、実行頻度、およびタスク内容 (巡回内容を自然言語で記述します) を指定します。

3. 自動スケジューリング を有効にすると、エージェントは指定された頻度で検査を自動的に実行します。また、タスクリストで その他 > 今すぐ実行 を選択して、1 回限りの検査を手動で実行することもできます。

4. タスクの実行履歴ページでは、各実行のステータスと結果の詳細レポートを表示できます。レポートは新しいウィンドウで開くとダウンロードをサポートしています。

概要

検査は定期的な健全性チェックに対応しますが、ウォッチ機能は例外が発生した瞬間のリアルタイム応答に対応します。ウォッチ機能は、シナリオを管理単位として使用し、シナリオはイベントのコレクションです。まず、シナリオが適用されるタスクタイプを定義し、次にシナリオ内で監視イベントとそのトリガーしきい値を設定します。シナリオが特定のタスクに適用された後、タスクごとにしきい値を上書きできます。タスクがイベントに一致すると、Agent は自動的にランタイム情報を収集し、根本原因を分析し、タスクの回復ステータスを継続的に追跡します。主な機能は次のとおりです：

• 組み込みのウォッチシナリオ：リアルタイム同期レイテンシウォッチ、リアルタイム同期ランタイムウォッチ、バッチ同期ランタイムウォッチの 3 つの組み込みシナリオが提供されています。これらのシナリオを対応するタイプの同期タスクに直接適用できます。

• イベントレベルのしきい値管理：シナリオには複数の監視イベントを含めることができ、それぞれに独立して設定されたトリガーしきい値があります。シナリオがタスクに適用された後、個々のタスクのしきい値を上書きして、重要なタスクの監視を微調整できます。

• トリガーベースの分析：ビジネスレイテンシが継続的にしきい値を超えると、Agent はソース、同期パイプライン、宛先を自動的に分析して、潜在的なパフォーマンスのボトルネックを特定します。タスクが失敗したり、頻繁にフェイルオーバーが発生したりすると、Agent は自動的に根本原因を分析します。バッチ同期タスクまたはバッチ増分インスタンスが失敗すると、Agent は自動的にランタイム情報を収集し、修復の提案を提供します。

• 回復追跡とウォッチ記録：分析が完了した後、Agent はタスクの回復ステータスを継続的に追跡します。トリガーされた各イベントは、トリガー時間、イベントに一致したタスク、一致した特定のイベント、分析の結論、およびタスクが回復したかどうかを示すウォッチ記録として保存されます。これにより、追跡可能な O&M 台帳が形成されます。