DataWorks:データ処理

1. 文字列置換

文字列置換は、基本的で頻繁に使用されるデータクレンジング機能です。現在のタスク内で、異なるカラムに対して複数の置換ルールを設定できます。

ウィザードモードでの設定

Data Processing List で、+Add Node ボタンをクリックし、Replace String を選択して新しい置換ルールを追加します。次の表では、構成パラメーターについて説明します。

複数のルールを追加して、さまざまな列やコンテンツで詳細な置き換えを実行できます。たとえば、gender 列で 'Male' を '1' に置き換えるルールを 1 つ作成し、status 列で 'active' を 'valid' に置き換える別のルールを作成できます。

出力データプレビュー

1. ルールを設定した後、データ処理セクションの右上隅にある [出力データプレビュー] をクリックします。

2. 表示されるダイアログで、[入力データ] を設定します。以下の 2 つのメソッドがサポートされています。

   • 自動取得: システムは上流ノードの出力からデータを自動的にフェッチします。[上流出力を再取得] をクリックしてデータをリフレッシュします。

   • 手動構築: [+手動でデータを構築] をクリックして、データ行の各列にカスタム値を入力するか、特定の境界条件 (NULL や空の文字列など) をテストします。

3. [プレビュー結果] セクションの [プレビュー] ボタンをクリックします。

4. システムは設定されたすべての処理ルールを実行し、その結果を以下に表示します。結果を期待値と比較して、ルールが正しく設定されているかを確認します。

ここでのプレビュー結果は、デバッグおよびリファレンス用です。最終的な結果は、実際のタスク実行に準じます。

スクリプトモードでの設定

スクリプトモードでデータ処理を有効にするには、"category": "map", "stepType": "stringreplace" を含む JSONObject を、JSON スクリプトの steps モジュールに追加します。スクリプトモードでの一般的な構成プロセスについては、「コードエディターを使用する」をご参照ください。

{
  "category": "map",
  "stepType": "stringreplace",
  "parameter": {
    "condition": [
      {
        "name": "<処理するカラム名>",
        "replaceString": "<置換対象の文字列>",
        "replaceByString": "<新しい置換文字列>",
        "useRegex": false,
        "caseSensitive": false
      }
    ]
  },
  "displayName": "<ルール名>",
  "description": "<ルールの説明>"
}

2. AI 支援処理

この機能は、組み込みの大規模言語モデル (LLM) を使用して、指定されたカラムのコンテンツをインテリジェントに処理および拡充し、データにさらなるビジネス価値を付加します。

主なユースケース：

• コンテンツ要約: プロダクトレビューやニュース記事などの大量のテキストから主要な要約を抽出します。

• 情報抽出: 名前、住所、連絡先などの非構造化テキストからキー情報を抽出します。

• テキスト翻訳: カラムのコンテンツを指定された言語に翻訳します。

• 感情分析: テキストの感情 (ポジティブ、ネガティブ、ニュートラルなど) を判断します。

構成と使用方法:
Add Node をクリックし、 AI 支援処理を選択します。 詳細な構成手順と典型的なユースケースについては、「AI 支援処理」をご参照ください。

3. データベクトル化

データベクトル化は、埋め込みモデルを使用してテキストやその他の種類のデータを高次元の数学的なベクトルに変換するプロセスです。これらのベクトルはデータのセマンティック情報を捉え、検索拡張生成 (RAG)、セマンティック検索、レコメンデーションシステムなどの AI アプリケーションを構築するために不可欠です。

主なユースケース：

• ナレッジベースの構築: ドキュメント、チケット、プロダクトマニュアルなどのテキストデータをベクトル化し、ベクトルデータベースに保存して、LLM の外部ナレッジベースとして機能させます。

• パーソナライズされたレコメンデーション: ユーザーとアイテムのベクトル表現に基づいて類似度を計算し、正確なレコメンデーションを可能にします。

構成と使用方法:
Add Node をクリックして [データベクトル化] を選択し、処理する列と使用する埋め込みモデルを選択します。詳細な設定手順と実践的な例については、「ベクトル化」をご参照ください。