All Products
Search

This Product

    DataWorks:Konfigurasi Pemrosesan Data

    Document Center

    DataWorks:Konfigurasi Pemrosesan Data

    Last Updated:Aug 18, 2026

    Fitur pemrosesan data dalam tugas sinkronisasi batch DataWorks membersihkan, memproses dengan AI, dan melakukan vektorisasi data secara langsung dalam pipeline sinkronisasi, sehingga menyederhanakan arsitektur ETL Anda.

    Batasan

    • Hanya tersedia di ruang kerja yang telah mengaktifkan versi baru Data Studio.

    • Hanya mendukung kelompok sumber daya arsitektur tanpa server (serverless).

    • Saat ini hanya tersedia untuk beberapa saluran sinkronisasi batch tabel tunggal.

    • Mengaktifkan pemrosesan data akan mengonsumsi sumber daya komputasi tambahan (CUs). Pantau kuota sumber daya Anda.

    Akses konfigurasi

    1. Pada halaman konfigurasi tugas sinkronisasi batch, gulir ke bawah hingga bagian pemrosesan data.

    2. Secara default, fitur ini dinonaktifkan. Aktifkan sakelar untuk mengaktifkan modul pemrosesan data.

    Fitur

    Setelah Anda mengaktifkan pemrosesan data, Anda dapat menambahkan satu atau beberapa aturan pemrosesan berikut.

    1. Penggantian string

    Tentukan aturan penggantian untuk kolom-kolom berbeda guna menstandarkan atau membersihkan nilai kolom.

    Konfigurasi mode wizard

    Pada Data Processing List, klik tombol +Add Node dan pilih Replace String untuk menambahkan aturan penggantian. Tabel berikut menjelaskan parameter-parameternya.

    Parameter

    Deskripsi

    Name

    Nama kustom untuk aturan penggantian.

    Description

    (Opsional) Deskripsi tujuan aturan tersebut.

    Column Name

    Klik tombol +Add Rule untuk menambahkan aturan kolom. Pilih kolom dari daftar drop-down kolom tabel sumber untuk menerapkan aturan ini.

    String to Replace

    Masukkan string asli yang akan dicari dan diganti.

    Replace With

    String baru yang akan digunakan sebagai pengganti.

    .* (regex matching)

    Mengaktifkan ekspresi reguler untuk pola string yang akan diganti.

    Aa (case sensitive)

    Mengatur apakah penggantian peka terhadap huruf besar/kecil. Secara default, pencarian tidak peka terhadap huruf besar/kecil.

    Anda dapat menambahkan beberapa aturan untuk kolom yang berbeda. Misalnya, buat satu aturan untuk mengganti 'Male' dengan '1' pada kolom gender, dan aturan lain untuk mengganti 'active' dengan 'valid' pada kolom status.

    Pratinjau data output

    1. Setelah mengonfigurasi aturan, klik Output Data Preview di pojok kanan atas bagian pemrosesan data.

    2. Pada dialog yang muncul, konfigurasikan Input Data. Dua metode berikut didukung:

      • Auto-fetch: Sistem secara otomatis mengambil data dari output node hulu. Klik Re-fetch Upstream Output untuk merefresh data.

      • Manual construction: Klik +Manually Construct Data untuk memasukkan nilai kustom untuk setiap kolom pada baris data, atau menguji kondisi batas tertentu (seperti NULL atau string kosong).

    3. Klik tombol Preview pada bagian Preview Results.

    4. Sistem menjalankan semua aturan pemrosesan yang dikonfigurasi dan menampilkan hasilnya. Bandingkan dengan ekspektasi Anda untuk memverifikasi aturan tersebut.

    Catatan

    Hasil pratinjau hanya untuk debugging dan referensi. Hasil akhir bergantung pada eksekusi tugas sesungguhnya.

    Konfigurasi mode skrip

    Untuk mengaktifkan pemrosesan data dalam mode skrip, tambahkan JSONObject dengan "category": "map", "stepType": "stringreplace" ke modul steps dalam skrip JSON. Untuk proses konfigurasi mode skrip secara umum, lihat Script mode configuration.

    {
  "category": "map",
  "stepType": "stringreplace",
  "parameter": {
    "condition": [
      {
        "name": "<Column name to process>",
        "replaceString": "<String to replace>",
        "replaceByString": "<New replacement string>",
        "useRegex": false,
        "caseSensitive": false
      }
    ]
  },
  "displayName": "<Rule name>",
  "description": "<Rule description>"
}

    2. Pemrosesan berbantuan AI

    Gunakan model bahasa besar (LLM) bawaan untuk memproses dan memperkaya konten kolom.

    Kasus penggunaan utama:

    • Ringkasan konten: Ekstrak ringkasan utama dari blok teks besar, seperti ulasan produk atau artikel berita.

    • Ekstraksi informasi: Ekstrak informasi penting dari teks tak terstruktur, seperti nama, alamat, dan detail kontak.

    • Terjemahan teks: Terjemahkan konten kolom ke bahasa yang ditentukan.

    • Analisis sentimen: Tentukan sentimen teks (misalnya positif, negatif, atau netral).

    Konfigurasi dan penggunaan:
    Saat Anda mengklik Add Node, pilih AI-assisted processing. Untuk instruksi konfigurasi lengkap dan kasus penggunaan khas, lihat AI-assisted processing.

    3. Vektorisasi data

    Konversi teks atau data lain menjadi vektor berdimensi tinggi menggunakan model penyematan (embedding). Vektor-vektor ini menangkap informasi semantik untuk aplikasi AI seperti Retrieval-Augmented Generation (RAG), pencarian semantik, dan sistem rekomendasi.

    Kasus penggunaan utama:

    • Membangun basis pengetahuan: Lakukan vektorisasi data teks seperti dokumen, tiket, dan manual produk, lalu simpan dalam database vektor untuk dijadikan basis pengetahuan eksternal bagi LLM.

    • Rekomendasi personalisasi: Hitung kemiripan berdasarkan representasi vektor pengguna dan item untuk memberikan rekomendasi yang akurat.

    Konfigurasi dan penggunaan:
    Saat Anda mengklik Add Node, pilih Data Vectorization, lalu pilih kolom yang akan diproses dan model penyematan yang akan digunakan. Untuk instruksi konfigurasi lengkap dan contoh praktis, lihat Vectorization.

    Referensi