すべてのプロダクト
Search

このプロダクト

    DataWorks:バッチ同期タスクの AI 支援処理

    ドキュメントセンター

    DataWorks:バッチ同期タスクの AI 支援処理

    最終更新日:Apr 21, 2026

    この機能は、大規模 AI モデルを DataWorks のデータ統合パイプラインに直接統合します。従来のデータ同期を単純なデータ転送からインテリジェントな処理にアップグレードし、ソースから宛先へのデータフロー中に AI モデルをリアルタイムで呼び出して、データの分析、処理、拡張を行い、非構造化データに隠された価値を引き出すことができます。

    概要

    • 対象ユーザー：この機能は、データ同期中に高度な分析を実行する必要があるエンタープライズユーザー、特に AI を使用してデータ品質を向上させ、ビジネス価値を引き出したいユーザーを対象としています。

    • シームレスなパイプライン統合：AI 処理はデータ統合に組み込まれたステップであり、ソースからのデータ読み取りと宛先へのデータ書き込みとシームレスに接続します。

    • 豊富な NLP サポート：同期中にテキストデータに対して、感情分析、要約生成、キーワード抽出、翻訳など、さまざまな自然言語処理 (NLP) タスクを実行します。

    利用シーン

    業界

    代表的なアプリケーション

    カスタマーサービス / E コマース

    ユーザーコメントやカスタマーサービスのチケットの感情をリアルタイムで分析し、中核的な問題や主要なフィードバックポイントを自動的に抽出します。

    コンプライアンス / 法務 / 科学研究

    同期中にポリシードキュメント、法的契約、研究論文から要約を自動生成し、主要な情報を抽出します。

    製造業 / サプライチェーン / ヘルスケア

    デバイスログ、サプライチェーンのフィードバック、医療コミュニケーションの記録をインテリジェントに分析し、リスクアラートを有効にし、サービス品質を最適化します。

    多言語コラボレーション

    世界中のソーシャルメディアのコメント、ニュース記事、ビジネスドキュメントを、同期中に統一された言語に自動翻訳し、集中分析を行います。

    前提条件

    • Data Studio (新バージョン) を使用するワークスペースを作成済みであること。

    • AI 支援処理に必要な大規模モデルサービスを準備済みであること。設定はモデルプロバイダーによって異なります。

    • バッチ同期タスクでは、新しいデータソースを手動で設定するか、既存のデータソースを使用できます。

    • ワークスペースがリソースグループにバインドされており、そのリソースグループがデータソースに接続できることを確認してください。

    課金

    AI 支援処理を使用すると、標準のデータ統合タスクの料金に加えて、大規模モデルの呼び出しコストが発生します。モデルの呼び出しコストは次のとおりです。

    例

    この例では、2 つの Hologres テーブル間でデータを移動するバッチ同期タスクで AI 支援処理機能を使用する方法を説明します。目標は、feedback_info 列のコンテンツを中国語から英語に翻訳し、宛先テーブルに書き込むことです。

    ソーステーブルのデータを準備する

    CREATE TABLE customer_feedback (
    id BIGINT PRIMARY KEY,
    device STRING,
    feedback_info STRING,
    pt INT
)
PARTITIONED BY (pt)
DISTRIBUTED BY HASH(id)
WITH (table_type='Duplication');

INSERT INTO customer_feedback (id, device, feedback_info, pt)
VALUES
(8, 'Huawei MateBook D14', '手頃な価格で、学生に最適、性能も十分', 2020),
(1, 'iphone', 'この商品はまあまあです。1年間使いました', 2013),
(10, 'Bose QuietComfort 35 II', 'ノイズキャンセリングヘッドホンの定番、快適性は満点', 2021);

    ステップ 1：バッチ同期タスクの作成

    1. DataWorks コンソールの [ワークスペース] ページに移動します。上部のナビゲーションバーで、目的のリージョンを選択します。目的のワークスペースを見つけ、[操作] 列で [ショートカット] > [Data Studio] を選択します。

    2. 左側のナビゲーションウィンドウで image をクリックして、データ開発ページに移動します。Project Directory の右側にある image をクリックし、Create Node > Data Integration > Batch Synchronization を選択して、[ノードの作成] ダイアログボックスを開きます。

    3. ノードの Path、Data source destination、Name を設定し、OK をクリックしてバッチ同期ノードを作成します。

      この例では、Hologres から Hologres への同期タスクを使用して、AI 支援処理機能について説明します。

    ステップ 2：同期タスクの設定

    バッチ同期ノードを作成すると、タスク設定ページが表示されます。このページで、次のパラメーターを設定します。

    1. データソース

    データ同期タスクのソースと宛先を設定します。

    • [タイプ]：バッチ同期タスクを作成したときに選択したソースと宛先のデータソースタイプです。このパラメーターは変更できません。タイプを変更するには、新しいタスクを作成する必要があります。

    • Data Source：ワークスペースにバインドされている既存の Hologres データソースを選択するか、ドロップダウンリストから Add Data Source を選択して新しいデータソースを作成します。

    2. 実行リソース

    1. タスクの Resource Group を選択します。サーバーレスリソースグループを使用する場合は、タスクの Resource Usage (CU) も指定できます。

    2. Resource Group を選択すると、データ統合はリソースグループとデータソース間の接続性を自動的にテストします。Connectivity Check をクリックして、手動でテストを実行することもできます。

    3. ソース

    Schema、Tables、Partition、Data Filtering 条件など、ソーステーブルの詳細を設定します。Data Preview をクリックすると、同期されるデータを確認できます。

    4. データ処理

    1. データ処理セクションで、データ処理機能を Enable します。この機能はより多くのコンピューティングリソースを消費し、タスクのリソースコストが増加します。

    2. Add Node をクリックし、[AI 支援処理] を選択します。

    3. AI 支援処理のパラメーターを設定します。

      次の表に、主要なパラメーターを示します。

      パラメーター

      説明

      Model Provider

      サポートされているプロバイダーは、DataWorks モデルサービス、Model Studio、PAI-Marketplace です。

      Model Endpoint

      [PAI-Marketplace] を選択した場合は、モデルの呼び出しエンドポイントを入力します。エンドポイントの取得方法については、「モデルサービスのテスト」をご参照ください。

      Model Name

      要件に基づいて、インテリジェントなデータ処理のためのモデルを選択します。

      API Key

      モデルへのアクセスに使用される API キーです。キーはモデルプロバイダーから取得します。

      Processing Description

      ソースフィールドの処理ロジックを自然言語で記述します。フィールド名は #{column_name} 形式である必要があります。たとえば、「'#{feedback_info}' を英語に翻訳」と入力します。

      Output Field

      結果を格納するフィールドの名前を入力します。フィールドが存在しない場合、DataWorks は自動的に新しいフィールドを作成します。

      説明

      この例では、ソーステーブルの feedback_info フィールドの内容が英語に翻訳され、feedback_processed という名前の新しいフィールドに格納されます。

    4. AI 支援処理セクションの右上隅にある [データ出力プレビュー] をクリックして、最終的な出力をプレビューします。

    5. (オプション) 順次実行される複数のデータ処理ステップを設定できます。

      image

    5. 宛先

    1. Schema、Table Name、Partition など、宛先テーブルの詳細を設定します。

      • Generate Target Table Schema をクリックして、宛先テーブルの構造をすばやく作成します。

      • 宛先テーブルが既に存在する場合は、必要に応じてそれを選択できます。

    2. Write Mode と [書き込み競合時の戦略] を設定します。

    3. 同期前に Hologres テーブルの既存のデータをクリアするかどうかを設定します。

    4. (オプション) Maximum Connections を設定します。

      Maximum Connections パラメーターは、書き込みモードが SQL(INSERT INTO) の場合にのみ有効です。タスクを開始する前に、Hologres インスタンスに十分なアイドル接続があることを確認してください。1 つのタスクで最大 9 つの接続を使用できます。

    6. フィールドマッピング

    ソース、データ処理、宛先を設定すると、データ統合はソーステーブルと宛先テーブル間のフィールドマッピングを表示します。デフォルトでは、同じ名前または同じ位置にあるフィールドがマッピングされます。必要に応じてマッピングを調整できます。

    説明

    この例では、既存のソースフィールド (id、device、feedback_info、pt) を名前でマッピングすることに加えて、翻訳結果を格納する feedback_processed ソースフィールドを、宛先テーブルの translate_feedback フィールドに手動でマッピングする必要もあります。

    ステップ 3：タスクのテスト

    1. タスク設定ページの右側のパネルで、Run Configuration をクリックします。Resource Group と関連する Script Parameters を設定して、ノードをテストします。

    2. ノード設定ページの上部にあるツールバーで、Save をクリックし、次に Running をクリックします。タスクが完了したら、実行結果を確認します。宛先データベースに移動してテーブルデータを確認することもできます。

    ステップ 4：スケジューリングの設定

    バッチ同期ノードを定期的に実行する必要がある場合は、右側のパネルの Scheduling Settings セクションに移動します。Scheduling Policy を設定し、関連するノードのスケジューリングプロパティを設定します。

    ステップ 5：ノードの公開

    ノードツールバーの Publish アイコンをクリックして、公開フローを開きます。このフローを使用して、タスクを本番環境に公開します。定期的なスケジューリングは、タスクが公開された後にのみ有効になります。

    次のステップ

    ノードが公開された後、公開フローで Backfill Data または Perform O&M をクリックできます。

    • Backfill Data：このオプションは、現在のノードのデータ補完のみをサポートします。より高度なデータ補完操作については、オペレーションセンターに移動してください。詳細については、「データバックフィルインスタンスの管理」をご参照ください。

    • Perform O&M：タスクを公開すると、オペレーションセンターが自動的にそれを監視します。オペレーションセンターでは、タスクのステータスを表示したり、手動で実行をトリガーしたりできます。詳細については、「オペレーションセンター」をご参照ください。