All Products
Search

This Product

    DataWorks:Pemrosesan berbantuan AI untuk tugas sinkronisasi batch

    Document Center

    DataWorks:Pemrosesan berbantuan AI untuk tugas sinkronisasi batch

    Last Updated:Jun 22, 2026

    Fitur ini mengintegrasikan pemrosesan model AI skala besar secara langsung ke dalam pipeline Data Integration DataWorks, mengubah sinkronisasi data dari transportasi sederhana menjadi pemrosesan cerdas. Anda dapat memanggil model AI secara real time untuk menganalisis, memproses, dan memperkaya data saat berpindah dari sumber ke tujuan, sehingga membuka nilai tersembunyi dari data tidak terstruktur.

    Fitur

    • Pengguna target: Fitur ini ditujukan untuk pengguna perusahaan yang memerlukan analisis dan pemrosesan tingkat lanjut selama sinkronisasi data, terutama yang menggunakan AI untuk meningkatkan kualitas data dan mengekstraksi nilai darinya.

    • Integrasi mulus: Pemrosesan AI merupakan langkah bawaan dalam Data Integration yang terhubung secara mulus dengan pembacaan dari sumber dan penulisan ke tujuan.

    • Dukungan untuk berbagai tugas NLP: Anda dapat menjalankan berbagai tugas natural language processing (NLP) pada data teks selama sinkronisasi, seperti analisis sentimen, pembuatan ringkasan, ekstraksi kata kunci, dan terjemahan teks.

    Kasus penggunaan

    Industri

    Aplikasi khas

    Layanan pelanggan / E-dagang

    Analisis sentimen komentar pengguna dan tiket layanan pelanggan secara real time. Ekstrak secara otomatis masalah inti dan poin umpan balik utama.

    Kepatuhan / Hukum / Penelitian ilmiah

    Saat sinkronisasi, secara otomatis hasilkan ringkasan dan ekstrak informasi kunci dari dokumen kebijakan, kontrak hukum, dan makalah penelitian.

    Manufaktur / Rantai pasok / Kesehatan

    Analisis secara cerdas log perangkat, umpan balik rantai pasok, atau catatan komunikasi dokter-pasien untuk mengaktifkan peringatan risiko dan optimalisasi kualitas layanan.

    Kolaborasi lintas bahasa

    Terjemahkan secara otomatis komentar media sosial, artikel berita, atau dokumen bisnis dari seluruh dunia ke dalam satu bahasa selama sinkronisasi untuk memfasilitasi analisis terpusat.

    Prasyarat

    • Anda telah membuat ruang kerja yang menggunakan Data Studio (versi baru).

    • Anda telah menyiapkan layanan model skala besar yang diperlukan untuk pemrosesan berbantuan AI. Langkah persiapan bergantung pada penyedia model yang Anda pilih:

    • Untuk tugas sinkronisasi batch, Anda dapat mengonfigurasi detail sumber data secara manual atau menggunakan sumber data yang sudah ada.

    • Pastikan ruang kerja telah diikat ke kelompok sumber daya dan kelompok sumber daya tersebut dapat terhubung ke sumber data.

    Penagihan

    Untuk tugas Data Integration yang menggunakan pemrosesan berbantuan AI, selain biaya standar Data Integration, Anda juga dikenai biaya untuk pemanggilan model skala besar. Rincian penagihannya adalah sebagai berikut:

    Contoh

    Contoh ini menggunakan Hologres untuk menunjukkan cara menggunakan fitur pemrosesan berbantuan AI saat melakukan sinkronisasi batch dari satu tabel Hologres ke tabel lainnya. Tujuannya adalah menerjemahkan data di kolom feedback_info dari tabel sumber ke dalam bahasa Inggris dan menyinkronkannya ke tabel tujuan.

    Siapkan data tabel sumber

    CREATE TABLE customer_feedback (
    id BIGINT PRIMARY KEY,
    device STRING,
    feedback_info STRING,
    pt INT
)
PARTITIONED BY (pt)
DISTRIBUTED BY HASH(id)
WITH (table_type='Duplication');
INSERT INTO customer_feedback (id, device, feedback_info, pt)
VALUES
(8, 'Huawei MateBook D14', 'Affordable, suitable for students, performance is adequate', 2020),
(1, 'iphone', 'This product is okay, I have used it for 1 year', 2013),
(10, 'Bose QuietComfort 35 II', 'A classic among noise-canceling headphones, maximum comfort', 2021);

    Langkah 1: Buat tugas sinkronisasi batch

    1. Buka halaman Workspaces di Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Temukan ruang kerja yang diinginkan dan pilih Shortcuts > Data Studio di kolom Actions.

    2. Di panel navigasi sebelah kiri, klik image untuk membuka halaman pengembangan data. Di sebelah kanan Project Directory, klik image dan pilih Create Node > Data Integration > Batch Synchronization. Kotak dialog Create Node akan muncul.

    3. Tetapkan Path, Data source destination, dan Name node. Lalu, klik OK untuk membuat node sinkronisasi batch.

      Topik ini menggunakan contoh tugas sinkronisasi Hologres-ke-Hologres untuk menunjukkan fitur pemrosesan berbantuan AI dalam tugas sinkronisasi batch.

    Langkah 2: Konfigurasi tugas sinkronisasi

    Setelah Anda membuat node sinkronisasi batch, editor tugas akan terbuka. Konfigurasikan pengaturan berikut di halaman ini:

    1. Sumber data

    Konfigurasikan sumber dan tujuan untuk tugas sinkronisasi data.

    • Type: Anda memilih jenis sumber dan tujuan data di langkah Create a batch synchronization task. Jenis ini tidak dapat diubah. Untuk menggunakan jenis berbeda, Anda harus membuat tugas sinkronisasi batch baru.

    • Data Source: Pilih sumber data Hologres yang telah diikat ke ruang kerja, atau pilih Add Data Source dari daftar drop-down.

    2. Sumber daya runtime

    1. Pilih Resource Group untuk tugas sinkronisasi. Jika Anda menggunakan kelompok sumber daya arsitektur tanpa server, Anda juga dapat menentukan Resource Usage (CU) untuk tugas tersebut.

    2. Setelah memilih Resource Group, Data Integration secara otomatis menguji konektivitas antara kelompok sumber daya dengan sumber dan tujuan data. Anda juga dapat mengklik Connectivity Check untuk menjalankan pengujian secara manual.

    3. Sumber

    Konfigurasikan detail tabel sumber untuk sinkronisasi, seperti Schema, Tables, Partition, dan kondisi Data Filtering. Anda dapat mengklik Data Preview untuk melihat data spesifik yang akan disinkronkan.

    Pada contoh ini, pilih public untuk Schema dan pilih customer_feedback untuk Table.

    4. Pemrosesan data

    1. Di bagian Pemrosesan data, Anda dapat Enable fitur pemrosesan data. Fitur ini memerlukan sumber daya komputasi tambahan dan meningkatkan beban sumber daya tugas.

    2. Klik Add Node dan pilih AI-assisted processing.

    3. Konfigurasikan pengaturan pemrosesan berbantuan AI.

      Parameter utama dijelaskan di bawah ini.

      Parameter

      Deskripsi

      Model Provider

      Penyedia yang didukung adalah DataWorks Model Service, Model Studio, dan PAI-Marketplace.

      Model Endpoint

      Jika Anda memilih PAI-Marketplace, masukkan titik akhir pemanggilan model. Untuk mendapatkan titik akhir tersebut, lihat Test service invocation.

      Model Name

      Model yang melakukan pemrosesan data cerdas. Pilih model sesuai kebutuhan.

      API Key

      Kunci API untuk mengakses model. Peroleh dari penyedia model.

      Processing Description

      Gunakan bahasa alami untuk menggambarkan operasi pada bidang sumber. Rujuk nama bidang dengan format #{column_name}. Misalnya, dalam kasus ini, masukkan Please translate '#{feedback_info}' into English.

      Output Field

      Masukkan nama bidang tempat hasil akan disimpan. Jika bidang tersebut belum ada, bidang baru akan dibuat.
      Catatan

      Sesuai konfigurasi pada contoh ini, bidang feedback_info dari tabel sumber diterjemahkan ke dalam bahasa Inggris dan disimpan di bidang feedback_processed.

    4. Klik Output Preview di pojok kanan atas bagian pemrosesan berbantuan AI untuk melihat pratinjau data keluaran akhir.

    5. (Opsional) Anda dapat mengonfigurasi beberapa langkah pemrosesan data yang dijalankan secara berurutan.

      Di bawah daftar pemrosesan data, klik tombol + untuk menambahkan langkah pemrosesan data baru.

    5. Tujuan

    1. Konfigurasikan informasi tabel tujuan, seperti Schema, Table Name, dan Partition.

      • Anda dapat mengklik Generate Target Table Schema untuk membuat tabel tujuan dengan cepat.

      • Jika tabel untuk menerima data sudah ada di tujuan, Anda dapat memilihnya.

    2. Konfigurasikan Write Mode dan Write Conflict Policy.

      Pilih public untuk Schema dan customer_feedback_after_translate untuk Table. Atur write mode ke SQL(INSERT INTO), write conflict strategy ke Ignore, dan Clear Hologres table before synchronization ke Do not clear destination table (false). Atur maximum connections ke 9.

    3. Konfigurasikan apakah akan menghapus data yang sudah ada di tabel Hologres sebelum sinkronisasi.

    4. (Opsional) Konfigurasikan Maximum Connections.

      Pengaturan Maximum Connections hanya berlaku ketika write mode adalah SQL(INSERT INTO). Saat memulai tugas, pastikan instans Hologres memiliki cukup koneksi idle. Satu tugas dapat menggunakan hingga sembilan koneksi.

    6. Pemetaan bidang tujuan

    Setelah Anda mengonfigurasi sumber data, pemrosesan data, dan tujuan, bagian ini menampilkan pemetaan bidang. Secara default, Data Integration memetakan bidang berdasarkan nama dan posisi. Anda dapat menyesuaikan pemetaan tersebut sesuai kebutuhan. Antarmuka pemetaan bidang menampilkan bidang sumber dan tujuan secara berdampingan, dengan garis yang menunjukkan hubungan pemetaan. Untuk menyesuaikan pemetaan secara manual (misalnya, memetakan feedback_processed ke translate_feedback), klik bidang yang sesuai untuk menghubungkannya.

    Catatan

    Pada contoh ini, selain pemetaan nama yang sama untuk bidang-bidang tabel sumber yang sudah ada (id, device, feedback_info, dan pt), Anda juga harus memetakan secara manual bidang feedback_processed, yang menyimpan hasil terjemahan, ke bidang translate_feedback di tabel tujuan.

    Langkah 3: Debug tugas

    1. Di panel sebelah kanan editor tugas, klik Run Configuration. Konfigurasikan Resource Group dan Script Parameters terkait untuk debugging node ini.

    2. Di bilah alat di bagian atas node, klik Save lalu klik Running. Tunggu hingga tugas selesai, dan periksa apakah eksekusi berhasil. Anda dapat membuka database tujuan untuk memverifikasi bahwa data tabel sesuai harapan.

    Langkah 4: Konfigurasi penjadwalan

    Jika node sinkronisasi batch perlu dijalankan sesuai jadwal, Anda harus mengonfigurasi Scheduling Policy di panel Scheduling Settings di sebelah kanan. Untuk informasi lebih lanjut, lihat Configure node scheduling properties.

    Langkah 5: Publikasikan node

    Klik ikon Publish di bilah alat node untuk memulai proses publikasi. Proses ini mempublikasikan tugas ke lingkungan produksi. Tugas hanya akan berjalan sesuai jadwal setelah dipublikasikan.

    Langkah berikutnya: O&M Tugas

    Setelah Anda mempublikasikan node, Anda dapat mengklik Backfill Data atau Perform O&M di kotak dialog publikasi.

    • Backfill Data: Opsi ini hanya mendukung pengisian ulang data untuk node saat ini. Untuk operasi pengisian ulang data yang lebih kompleks, buka Operation Center. Untuk informasi lebih lanjut, lihat Manage data backfill instances.

    • Perform O&M: Setelah Anda mempublikasikan tugas, Operation Center akan mengelolanya secara otomatis. Di Operation Center, Anda dapat melihat status eksekusi tugas atau memicunya secara manual. Untuk informasi lebih lanjut, lihat Operation Center.