DataWorks:Data Integration Agent

説明

DI Agent を使用すると、バッチ単一テーブル、リアルタイム単一テーブル、バッチデータベース全体、リアルタイムデータベース全体の 4 種類の同期タスクを自然言語で作成および管理できます。データソース、フィールドマッピング、スケジューリングポリシーのフォームフィールドを一つずつ入力する代わりに、同期要件を記述するだけで、Agent が意図の理解からデプロイまでの全プロセスを完了します。主な機能は次のとおりです：

• 自然言語によるタスク作成：同期要件を 1 文で記述するだけで (例：「RDS の注文データベース全体を、日次でパーティション分割して Hologres にリアルタイムで同期する」)、Agent はデータソースの識別、スキーマの検出、フィールドマッピング、リソースグループの割り当て、スケジューリングポリシーの設定を自動的に完了します。

• 意図の理解と複数ターンにわたる対話：Agent は、曖昧または不完全な要件記述を理解し、フォローアップの質問をすることで、主要なパラメーター (パーティション分割戦略や増分条件など) を補完し、生成されるタスク設定が正確で使用可能であることを保証します。

• タスクライフサイクル全体の管理：対話を通じてタスクの編集、一時停止、再開、削除、再実行が可能で、タスクの作成から廃止までの完全なライフサイクルをカバーします。

• バッチタスク操作：1 回の対話で複数の同期タスクを作成または変更でき、データベース全体の移行やスケジューリングポリシーの一括調整などのシナリオに適しています。

例

次の例では、対話を通じて同期タスクを作成する方法を示します：

1. DI Agent の対話インターフェイスに移動します。

2. 同期要件を入力します。例：「RDS の注文データベース全体を、日次でパーティション分割して Hologres にリアルタイムで同期する」。

3. Agent はソーススキーマを自動的に検出し、同期するテーブルのリストを表示し、確認後に続行します。

4. Agent は、フィールドマッピング、リソースグループの割り当て、スケジューリングポリシーの設定を自動的に完了します。

5. タスク設定の概要をプレビューし、すべてが正しいことを確認した後にタスクをデプロイします。

6. タスクの実行ステータスを確認し、データが正しく同期されていることを検証します。

説明

DI Agent を使用すると、大規模言語モデルの推論を ETL オペレーターとしてデータパイプラインに組み込み、あらゆるソースからの構造化および非構造化データ (画像、動画、音声ファイル、ドキュメントなど) に対してバッチ AI 処理を実行できます。処理操作には、認識、分類とタグ付け、文字起こし、翻訳、要約、ベクトル化、カスタム処理ロジックが含まれます。結果は、データ統合でサポートされている任意の宛先 (MaxCompute、Hologres、Data Lake Formation (DLF) など) に直接書き込まれ、あらゆる種類のデータが適切な形式で企業のデータ資産システムに取り込まれるようになります。主な機能は次のとおりです：

• 自然言語による処理ロジックの定義：処理の意図を自然言語で記述するだけで (例：「画像内の製品カテゴリを識別し、ラベルを出力する」)、Agent は対応する処理パイプライン設定を自動的に生成します。

• 3 段階のパイプラインオーケストレーション：Agent は、スクリプトの作成や推論サービスの設定を必要とせずに、ソース → 変換 (大規模モデル推論) → シンクのパイプラインを自動的にオーケストレーションします。

• さまざまな宛先への結果の直接書き込み：たとえば、処理結果は追加のデータ転送なしで、MaxCompute、Hologres、または DLF データレイクに直接書き込まれます。

• データ埋め込み：処理されたデータをベクトル化し、その後の RAG で使用するために指定されたストレージ宛先に書き込みます。

• バッチ実行と定期的実行：数百万のファイルのバッチ処理をサポートし、増分データを継続的に処理するために定期的なスケジュール実行を設定できます。

例

次の例では、OSS 内の製品画像を処理し、結果を MaxCompute に書き込む方法を示します：

1. AI データ処理のエントリーポイントに移動します。

2. 処理要件を入力します。例：「OSS バケットの製品画像を読み込み、大規模モデルを呼び出して分類ラベルを識別し、結果を MaxCompute テーブルに書き込む」。

3. Agent は、ソース (OSS) → 変換 (大規模モデル推論) → シンク (MaxCompute) の 3 段階のパイプラインを自動的にオーケストレーションします。

4. Agent がソースデータ (OSS パス) と宛先テーブル (MaxCompute テーブル名) の詳細を確認するよう求めてきます。

5. 確認後、Agent は処理パイプラインを生成し、実行前にプレビューできます。

6. タスクを実行し、処理が完了したら、MaxCompute テーブルで結果 (画像パスと対応する分類ラベル) を確認します。

7. エージェントは、ソース (MySQL) → 変換 (大規模モデルによるベクトル化) → シンク (Hologres) という 3 段階のパイプラインを自動的に編成します。

8. ChatDB は自動的に対象テーブルを識別し、対応する SQL 文を生成します。

9. View the returned results.

データソーススキーマとビジネスセマンティクスのクエリ

ChatDB を使用すると、自然言語を使用してデータベースのメタデータを探索し、ビジネスセマンティクスを解釈できます。ターゲットデータソースを指定すると、Agent は自動的に接続し、データベース、テーブル、フィールドの完全な構造 (テーブル名、フィールドタイプ、主キーと外部キーの関係、インデックス制約、その他のメタデータの詳細を含む) をドリルダウンします。また、Agent はテーブル名、フィールドの命名規則、データ特性に基づいてデータベースとテーブルのビジネスセマンティクスを解釈し、各テーブルの目的、フィールドが表すビジネスコンセプト、テーブル間の関係を迅速に理解するのに役立ちます。

ユースケース：不慣れなシステムを引き継ぐ際のデータランドスケープ全体の迅速な理解、およびチーム横断的なコラボレーション中に技術者以外のチームメンバーがデータ構造を理解するのを支援します。

データソースのサンプルデータプレビュー

ChatDB を使用すると、自然言語を使用して任意のテーブルのサンプルデータを表示できます。ターゲットテーブルを指定すると、Agent は代表的なデータサンプルを説明付きで自動的に取得するため、SQL を記述することなく、テーブルに保存されているデータの内容と形式を視覚的に確認できます。

ユースケース：データの内容を迅速に検証し、実際のフィールド値を理解すること、およびチーム横断的なコラボレーション中に技術者以外のチームメンバーがデータセマンティクスを理解するのを支援します。

グラフ可視化を伴う統計分析

ChatDB は、自然言語主導のデータ分析と可視化をサポートします。分析の意図を記述するだけで (例：「過去 3 か月間のカテゴリ別売上トレンドを表示」または「地域間の注文比率を比較」)、Agent はデータソースを自動的に特定し、クエリロジックを生成し、分析結果を折れ線グラフ、棒グラフ、円グラフなどのグラフタイプで表示します。SQL や専門の可視化ツールは不要です。

ユースケース：ビジネスチームによる運用上の仮説の迅速な検証、およびトラブルシューティング中に技術チームがその場でトレンドデータを取得する場合。

スキーマ診断と最適化の推奨

ChatDB は、指定されたデータソースのデータベースおよびテーブルスキーマのインテリジェント診断をサポートします。Agent は、ターゲットデータベースのテーブルスキーマ設計を自動的にスキャンし、命名規則、フィールドタイプの選択、インデックスカバレッジ、主キーと外部キーの整合性、冗長フィールド、パーティション分割戦略など、複数の次元にわたってレビューします。潜在的な設計上の欠陥を特定し、具体的な最適化の推奨と改善の方向性を提供します。

ユースケース：新規作成されたデータベースとテーブルの設計レビュー、既存システムの技術的負債の評価、およびデータベースパフォーマンス問題の根本原因分析。

データベースパフォーマンスのトラブルシューティングと最適化

ChatDB は、データベースパフォーマンスの診断とスロー SQL の根本原因分析をサポートします。パフォーマンスの問題を記述するか、ターゲットデータソースを指定すると、Agent は、フルテーブルスキャン、インデックスの無効化、最適でない JOIN の順序、深くネストされたサブクエリ、暗黙的なデータ型変換、古い統計情報、ロック競合、ホットテーブルなど、クエリの低速化を引き起こす要因を自動的に分析します。実際の実行計画に基づいて各スロー SQL ステートメントの根本原因を説明し、インデックスの調整、クエリの書き換え、テーブルスキーマのリファクタリングなどの的を絞った最適化の推奨を提供します。

ユースケース：本番環境での突然のパフォーマンスインシデントに対する緊急トラブルシューティング、および定期的な検査中の潜在的なスロークエリのプロアクティブな管理。

説明

同期タスクのアラートを受信した後、Agent の対話インターフェイスで問題を記述するか、アラート情報を貼り付けます。Agent は、タスクログ、リソース監視メトリクス、ソースデータベースのステータスなどの多次元情報を自動的に集約し、根本原因を特定して、修復計画を提供します。これにより、トラブルシューティング時間が数時間から数分に短縮されます。各診断結果はナレッジベースのエントリとして自動的にアーカイブされるため、次に同様の問題が発生した際には、既存のソリューションが直接マッチングされ、担当者の変更時にチームがゼロから始めるのを防ぎます。主な機能は次のとおりです：

• 多次元情報の集約：タスクログ、リソース監視メトリクス、ソースデータベースのステータス、ネットワーク帯域幅などの多次元情報を自動的に収集および関連付け、完全なコンテキストを単一のビューで表示します。

• 根本原因の特定：集約された情報 (CU 不足、ソース側のテーブルロック、ネットワーク帯域幅のボトルネック、設定エラーなど) に基づいて根本原因を自動的に分析し、明確な結論を提供します。

• ワンクリック実行による修復の推奨：根本原因を特定した後、Agent は実行可能な修復提案 (リソースグループのスケールアップ、インスタンスの再起動、同時実行数の調整など) を提供します。確認後、ワンクリックで修正を実行できます。

• ナレッジの自動蓄積：各診断結果はナレッジベースのエントリとして自動的にアーカイブされるため、次に同様の問題が発生した際には、既存のソリューションが直接マッチングされます。

例

1. アラートがトリガーされた後、Agent の対話インターフェイスを開き、問題を記述するか、アラート情報を貼り付けます。

2. Agent は、タスクログ、リソース監視メトリクス、ソース側のステータスなどの多次元情報を自動的に集約します。

3. Agent は根本原因分析レポートを出力します (例：CU 不足により消費レートが生産レートを下回っている)。

4. Agent は修復の推奨を提供します (例：リソースグループの CU クォータをスケールアップするか、失敗したインスタンスを再起動する)。確認後、修正が実行されます。

説明

DI Agent は、AI Agent によって作成および管理される自動化されたインテリジェント検査タスクを提供します。監視スクリプトを作成したり、アラートルールを設定したりする必要はありません。検査タスクを作成し、自動スケジューリングを有効にすると、Agent は設定された頻度で同期タスクの実行ステータスをプロアクティブに検査し、各実行後に詳細な結果レポートを生成します。これにより、運用保守モデルを事後対応型からプロアクティブなガバナンスへと転換します。主な機能は次のとおりです：

• 設定可能な実行頻度：実行頻度は Cron 式を使用して設定され、1 回、毎時、毎日、毎週、毎月、およびカスタム Cron スケジュールをサポートします。デフォルトは毎日 08:00 です。自動スケジューリングを有効にする前に、実行頻度を設定する必要があります。

• パイプライン全体のプロアクティブなスキャン：Agent は、すべての同期パイプラインの実行ステータスを定期的に自動スキャンし、手動で項目ごとにチェックすることなく潜在的なリスクをプロアクティブに特定します。

• 詳細な結果レポート：各検査の後、詳細な結果レポートが生成されます。レポートはタスクの実行履歴で表示できます。レポートは新しいウィンドウで開くか、チームでの共有やアーカイブのためにダウンロードできます。

• 優先度ランキングとアクションの推奨：リスクの高いタスクは影響範囲と緊急度によってランク付けされ、各項目には具体的なアクションの推奨と期待される利益の評価が付随します。

例

1. Data Integration コンソールにログインします。左側のナビゲーションウィンドウで、定期タスク の下にある AI ネイティブ をクリックします。

2. 検査タスクを作成します。定期タスクの新規作成 をクリックし、ドロップダウンメニューから Agent チャットによる作成 または 手動作成 を選択します。または、ページ上部の推奨シナリオカードをクリックして、組み込みのシナリオテンプレートからタスクを迅速に作成することもできます。タスクを手動で作成するには、タスク名、説明、リソースグループ、実行頻度、タスクの内容 (検査内容を自然言語で記述) を指定します。

3. 自動スケジューリング をオンにすると、Agent は指定された頻度で自動的に検査を実行します。タスクリストで その他 > 今すぐ実行 を選択して、1 回限りの検査を手動でトリガーすることもできます。

4. タスクの実行履歴ページで、各実行のステータスと 結果の詳細レポート を表示します。レポートは 新しいウィンドウで開く と ダウンロード をサポートしています。

説明

検査が定期的なヘルスチェックに対応するのに対し、ウォッチ機能は例外が発生した瞬間のリアルタイム応答に対応します。ウォッチ機能は、シナリオを管理単位として使用します。シナリオはイベントのコレクションです。まず、シナリオが適用されるタスクタイプを定義し、次にシナリオ内で監視イベントとそのトリガーしきい値を設定します。シナリオが特定のタスクに適用された後、タスクごとにしきい値を上書きできます。タスクがイベントに一致すると、Agent は自動的にランタイム情報を収集し、根本原因を分析し、タスクの回復状況を継続的に追跡します。主な機能は次のとおりです：

• 組み込みの監視シナリオ：リアルタイム同期遅延ウォッチ、リアルタイム同期ランタイムウォッチ、バッチ同期ランタイムウォッチの 3 つの組み込みシナリオが提供されています。これらのシナリオを適用可能なタイプの同期タスクに直接適用できます。

• イベントレベルのしきい値管理：シナリオには複数の監視イベントを含めることができ、それぞれに独立して設定されたトリガーしきい値があります。シナリオがタスクに適用された後、個々のタスクのしきい値を上書きして、重要なタスクの監視を微調整できます。

• トリガーベースの分析：ビジネスの遅延が継続的にしきい値を超えると、Agent はソース、同期パイプライン、宛先を自動的に分析して、潜在的なパフォーマンスのボトルネックを特定します。タスクが失敗したり、頻繁にフェイルオーバーが発生したりすると、Agent は自動的に根本原因を分析します。バッチ同期タスクまたはバッチ増分インスタンスが失敗すると、Agent は自動的にランタイム情報を収集し、修復の提案を提供します。

• 回復追跡と監視レコード：分析が完了すると、Agent はタスクの回復状況を継続的に追跡します。トリガーされた各イベントは、トリガー時間、イベントに一致したタスク、一致した特定のイベント、分析の結論、およびタスクが回復したかどうかを示す監視レコードとして記録されます。これにより、追跡可能な運用保守台帳が形成されます。