DataWorks:Pemrosesan data

1. String replacement

String replacement merupakan fitur pembersihan data dasar yang sering digunakan. Anda dapat menyiapkan beberapa aturan penggantian untuk kolom berbeda dalam tugas saat ini.

Wizard mode configuration

Pada Data Processing List, klik tombol +Add Node dan pilih Replace String untuk menambahkan aturan penggantian baru. Tabel berikut menjelaskan parameter konfigurasinya.

Anda dapat menambahkan beberapa aturan untuk melakukan penggantian detail halus pada kolom dan konten yang berbeda. Misalnya, buat satu aturan untuk mengganti 'Male' dengan '1' di kolom gender, dan aturan lain untuk mengganti 'active' dengan 'valid' di kolom status.

Output Data Preview

1. Setelah mengonfigurasi aturan, klik Output Data Preview di pojok kanan atas bagian pemrosesan data.

2. Pada dialog yang muncul, konfigurasikan Input Data. Dua metode berikut didukung:

   • Auto-fetch: Sistem secara otomatis mengambil data dari output node hulu. Klik Re-fetch Upstream Output untuk merefresh data.

   • Manual construction: Klik +Manually Construct Data untuk memasukkan nilai kustom untuk setiap kolom dalam baris data atau menguji kondisi batas tertentu (seperti NULL atau string kosong).

3. Klik tombol Preview di bagian Preview Results.

4. Sistem menjalankan semua aturan pemrosesan yang dikonfigurasi dan menampilkan hasilnya di bawah. Bandingkan hasil tersebut dengan ekspektasi Anda untuk memverifikasi apakah aturan telah dikonfigurasi dengan benar.

Hasil pratinjau ini hanya untuk debugging dan referensi. Hasil akhir bergantung pada eksekusi tugas aktual.

Script mode configuration

Untuk mengaktifkan pemrosesan data dalam mode skrip, tambahkan JSONObject dengan "category": "map", "stepType": "stringreplace" ke modul steps dalam skrip JSON. Untuk proses konfigurasi umum dalam mode skrip, lihat Use the Code Editor.

{
  "category": "map",
  "stepType": "stringreplace",
  "parameter": {
    "condition": [
      {
        "name": "<Column name to process>",
        "replaceString": "<String to replace>",
        "replaceByString": "<New replacement string>",
        "useRegex": false,
        "caseSensitive": false
      }
    ]
  },
  "displayName": "<Rule name>",
  "description": "<Rule description>"
}

2. AI-assisted processing

Fitur ini menggunakan model bahasa besar (LLM) bawaan untuk memproses dan memperkaya konten kolom tertentu secara cerdas, sehingga meningkatkan nilai bisnis data Anda.

Kasus penggunaan utama:

• Ringkasan konten: Ekstrak ringkasan utama dari blok teks besar, seperti ulasan produk atau artikel berita.

• Ekstraksi informasi: Ekstrak informasi penting dari teks tidak terstruktur, seperti nama, alamat, dan detail kontak.

• Terjemahan teks: Terjemahkan konten kolom ke bahasa yang ditentukan.

• Analisis sentimen: Tentukan sentimen teks (misalnya positif, negatif, atau netral).

Konfigurasi dan penggunaan:
Saat Anda mengklik Add Node, pilih AI-assisted processing. Untuk instruksi konfigurasi lengkap dan kasus penggunaan khas, lihat AI-assisted processing.

3. Data vectorization

Vektorisasi data adalah proses mengonversi teks atau jenis data lain menjadi vektor matematis berdimensi tinggi menggunakan model penyematan (embedding). Vektor ini menangkap informasi semantik data dan sangat penting untuk membangun aplikasi AI seperti Retrieval-Augmented Generation (RAG), pencarian semantik, dan sistem rekomendasi.

Kasus penggunaan utama:

• Membangun basis pengetahuan: Vektorisasi data teks seperti dokumen, tiket, dan manual produk, lalu simpan dalam database vektor untuk dijadikan basis pengetahuan eksternal bagi LLM.

• Rekomendasi personalisasi: Hitung kemiripan berdasarkan representasi vektor pengguna dan item untuk memberikan rekomendasi yang tepat.

Konfigurasi dan penggunaan:
Saat Anda mengklik Add Node, pilih Data Vectorization, lalu pilih kolom yang akan diproses dan model penyematan yang akan digunakan. Untuk instruksi konfigurasi lengkap dan contoh praktis, lihat Vectorization.