DataWorks:Data Integration DI Agent

機能概要

DI Agent は、自然言語を通じて全 4 種類の同期タスク (バッチ単一テーブル、リアルタイム単一テーブル、バッチデータベース全体、リアルタイムデータベース全体) の作成と管理をサポートします。データソース、フィールドマッピング、スケジュール戦略の構成フォームに 1 つずつ入力する代わりに、同期要件を説明するだけで、Agent がインテント理解からデプロイまでのプロセス全体を完了します。主な機能は次のとおりです。

• 自然言語によるタスク作成: 同期要件を 1 文で説明します。たとえば、「RDS orders データベースを Hologres にリアルタイムで同期し、日別にパーティション化する」などです。Agent が、データソースの識別、スキーマ検出、フィールドマッピング、リソースグループの割り当て、スケジュール構成を自動的に完了します。

• インテント理解とマルチターンダイアログ: Agent は、あいまいまたは不完全な説明を理解し、フォローアップの質問によってパーティション戦略や増分条件などの主要なパラメータを明確にし、生成されたタスク構成が正確で使用可能であることを保証します。

• ライフサイクル全体の管理: 会話を通じてタスクを編集、一時停止、再開、削除、または再実行できます。対話型インターフェースは、作成から廃止までのタスクライフサイクル全体をカバーします。

• バッチ操作: 1 回の会話で複数の同期タスクを作成または変更できます。これは、データベース全体の移行や一括スケジュール調整に役立ちます。

使用例

次の例は、会話を通じて同期タスクを作成する方法を示しています。

1. DI Agent 対話型インターフェースを開きます。

2. 同期要件を入力します。たとえば、「RDS orders データベースを Hologres にリアルタイムで同期し、日別にパーティション化する」などです。

3. Agent がソーススキーマを自動的に検出し、同期するテーブルのリストを表示し、確認後に続行します。

4. Agent が、フィールドマッピング、リソースグループの割り当て、スケジュール構成を自動的に完了します。

5. タスク構成の概要をプレビューし、正しいことを確認した後、タスクをデプロイします。

6. タスクの実行ステータスを確認し、データが期待どおりに同期されていることを確認します。

機能概要

DI Agent は、大規模言語モデル推論を ETL オペレーターとしてデータパイプラインに組み込み、OSS 内の画像、動画、音声ファイル、ドキュメントなどの非構造化データに対してバッチ AI 処理の実行をサポートします。処理機能には、認識、分類とタグ付け、文字起こし、翻訳、要約、ベクトル化が含まれます。処理結果は MaxCompute、Hologres、または Data Lake Formation (DLF) に直接書き込まれ、非構造化データを企業データ資産システムに統合します。主な機能は次のとおりです。

• 自然言語による処理ロジック: 処理の意図を自然言語で説明します。たとえば、「画像内の製品カテゴリを識別してタグを出力する」などです。Agent が対応する処理パイプライン構成を自動的に生成します。

• 3 段階パイプラインオーケストレーション: Agent が、スクリプトの記述や推論サービスのセットアップを必要とせずに、Source → Transform (大規模モデル推論) → Sink パイプラインを自動的にオーケストレーションします。

• データウェアハウスへの直接出力: 処理結果は、追加のデータ転送ステップなしで MaxCompute、Hologres、または DLF に直接書き込まれます。

• データエンベディング: 処理されたデータをベクトル化し、結果を Hologres に書き込んで、下流の RAG ユースケースに使用します。

• バッチおよびスケジュール実行: バッチモードで数百万のファイルを処理し、定期実行を構成して、新しいデータの継続的な増分処理を行います。

使用例

次の例は、OSS 内の製品画像を処理し、結果を MaxCompute に書き込む方法を示しています。

1. AI データ処理のエントリーポイントを開きます。

2. 処理要件を入力します。たとえば、「OSS バケットから製品画像を読み取る → 大規模モデルを呼び出してカテゴリタグを識別する → 結果を MaxCompute テーブルに書き込む」などです。

3. Agent が 3 段階パイプラインを自動的にオーケストレーションします: Source (OSS) → Transform (大規模モデル推論) → Sink (MaxCompute)。

4. ChatDB がターゲットテーブルを自動的に識別し、対応する SQL ステートメントを生成します。

5. 返されたチャート結果を表示します。可視化タイプ (折れ線グラフ、棒グラフなど) は自動的に選択されます。

6. フィーチャーエンジニアリングデータベースから Hologres へのデータのベクトル化を RAG 用に行うには、自然言語でエンベディングタスクを定義できます。「エンベディングを続行する → 大規模モデルを呼び出してベクトル化する → 結果を Hologres テーブルに書き込む」などです。

7. Agent が 3 段階パイプラインを自動的にオーケストレーションします: Source (MaxCompute) → Transform (大規模モデルベクトル化) → Sink (Hologres)。

8. ChatDB がターゲットテーブルを自動的に識別し、対応する SQL ステートメントを生成します。

9. 返された結果を表示します。

機能概要

同期タスクアラートを受信したら、Agent 対話型インターフェースで問題を説明するか、アラート情報を貼り付けることができます。Agent が、タスクログ、リソース監視メトリクス、ソースデータベースステータスなど、多次元の情報を自動的に集約し、根本原因を特定して修復計画を提供します。これにより、トラブルシューティング時間が数時間から数分に短縮されます。各診断結果は、ナレッジベースエントリとして自動的にアーカイブされるため、次回同様の問題が発生したときに、既存のソリューションが直接提示され、チームメンバーが変更された際にゼロから始める必要がありません。主な機能は次のとおりです。

• 多次元情報の集約: タスクログ、リソース監視メトリクス、ソースデータベースステータス、ネットワーク帯域幅、その他の多次元情報を自動的に収集して関連付け、完全なコンテキストを単一のビューで提示します。

• 根本原因の特定: 集約された情報に基づいて障害の根本原因を自動的に分析します。たとえば、CU の不足、ソーステーブルのロック、ネットワーク帯域幅のボトルネック、構成エラーなどを特定し、明確な結論を提供します。

• ワンクリック実行による修復の推奨事項: 根本原因が特定された後、Agent は、リソースグループのスケールアウト、インスタンスの再起動、同時実行性の調整など、実行可能な修復提案を提供します。確認後、ワンクリックで実行できます。

• 自動ナレッジ蓄積: 各診断結果は、ナレッジベースエントリとして自動的にアーカイブされます。次回同様の問題が発生したときに、既存のソリューションが直接提示されます。

使用例

1. アラートがトリガーされた後、Agent 対話型インターフェースを開き、問題を説明するか、アラートメッセージを貼り付けます。

2. Agent が、タスクログ、リソース監視メトリクス、ソース側のステータスを含む多次元情報を自動的に集約します。

3. Agent が根本原因分析レポートを出力します (たとえば、CU の不足により消費率が生産率を下回っている)。

4. Agent が推奨される修正を提供します (たとえば、リソースグループの CU クォータをスケールアップする、または失敗したインスタンスを再起動する)。確認後、修正が実行されます。

機能概要

DI Agent は、構成可能な間隔ですべての同期パイプラインをプロアクティブにスキャンし、運用保守モデルをリアクティブな対応からプロアクティブなガバナンスへのシフトをサポートします。検査結果は、影響範囲と緊急度によって優先順位付けされた高リスクタスクを含む構造化レポートとして提示され、それぞれに具体的な修復の推奨事項と期待される利益の評価が付随します。主な機能は次のとおりです。

• 構成可能な検査間隔: ヘルスチェックの適時性に関するさまざまなビジネス要件に対応するため、1 時間ごと、毎日、毎週、手動のみの 4 つの頻度がサポートされています。

• パイプライン全体のプロアクティブスキャン: Agent が、構成された各間隔ですべての同期パイプラインを自動的にスキャンし、手動で個別にチェックすることなく、潜在的なリスクをプロアクティブに特定します。

• 構造化された日次ヘルスレポート: 検査結果には、主要なメトリクスの概要、異常なタスクリスト、リスクレベル評価が含まれており、運用保守チームが 3 分以内に全体的なヘルスステータスを把握できます。

• 優先順位付けと修復の推奨事項: 高リスクタスクは、影響範囲と緊急度によって優先順位付けされ、各項目には具体的な修復の推奨事項と期待される利益の評価が付随します。

使用例

1. インテリジェント検査構成ページに移動し、検査間隔 (1 時間ごと、毎日、または毎週) を選択します。

2. 検査範囲 (すべてのパイプライン、または特定のワークスペース / リソースグループ) を構成します。

3. Agent が、構成された間隔で検査を自動的に実行し、構造化されたレポートを生成します。

4. レポート内の主要なメトリクスの概要と高リスクタスクリストを確認し、優先順位に従ってリスク項目に対処します。