All Products
Search

This Product

    DataWorks:Pemrosesan konten AI untuk tugas sinkronisasi batch

    Document Center

    DataWorks:Pemrosesan konten AI untuk tugas sinkronisasi batch

    Last Updated:Sep 17, 2026

    Integrasikan pemrosesan model AI ke dalam pipeline Data Integration DataWorks untuk menganalisis, memproses, dan meningkatkan data secara real time saat data berpindah dari sumber ke tujuan, sehingga membuka nilai tersembunyi dari data tidak terstruktur.

    Fitur

    • Pengguna target: Pengguna perusahaan yang memerlukan analisis dan pemrosesan berbasis AI selama sinkronisasi data untuk meningkatkan kualitas data dan mengekstraksi nilai data.

    • Integrasi mulus: Pemrosesan AI merupakan langkah bawaan dalam Data Integration yang terhubung secara mulus dengan pembacaan dari sumber dan penulisan ke tujuan.

    • Dukungan untuk berbagai tugas NLP: Anda dapat menjalankan beberapa tugas natural language processing (NLP) pada data teks selama sinkronisasi, seperti analisis sentimen, pembuatan ringkasan, ekstraksi kata kunci, dan terjemahan teks.

    Kasus penggunaan

    Industri

    Aplikasi khas

    Layanan pelanggan / E-dagang

    Analisis sentimen komentar pengguna dan tiket layanan pelanggan secara real time. Ekstrak secara otomatis masalah inti dan titik umpan balik utama.

    Kepatuhan / Hukum / Penelitian ilmiah

    Saat sinkronisasi, hasilkan ringkasan secara otomatis dan ekstrak informasi kunci dari dokumen kebijakan, kontrak hukum, dan makalah penelitian.

    Manufaktur / Rantai pasok / Kesehatan

    Analisis secara cerdas log perangkat, umpan balik rantai pasok, atau catatan komunikasi dokter-pasien untuk mengaktifkan peringatan risiko dan optimalisasi kualitas layanan.

    Kolaborasi lintas bahasa

    Terjemahkan secara otomatis komentar media sosial, artikel berita, atau dokumen bisnis dari seluruh dunia ke dalam satu bahasa selama sinkronisasi untuk memudahkan analisis terpusat.

    Prasyarat

    • Anda telah membuat ruang kerja yang menggunakan Data Studio (versi baru).

    • Anda telah menyiapkan layanan model besar yang diperlukan untuk pemrosesan konten AI. Langkah persiapan bergantung pada penyedia model yang Anda pilih:

    • Untuk tugas sinkronisasi batch, Anda dapat mengonfigurasi detail sumber data secara manual atau menggunakan sumber data yang sudah ada.

    • Pastikan ruang kerja telah ditautkan ke kelompok sumber daya dan kelompok sumber daya tersebut dapat terhubung ke sumber data.

    Penagihan

    Selain biaya standar Data Integration, tugas pemrosesan konten AI akan dikenai biaya pemanggilan model besar:

    Contoh

    Contoh ini menyinkronkan data antara dua tabel Hologres, menerjemahkan kolom feedback_info ke dalam bahasa Inggris, dan menulis hasilnya ke tabel tujuan.

    Siapkan data tabel sumber

    CREATE TABLE customer_feedback (
    id BIGINT PRIMARY KEY,
    device STRING,
    feedback_info STRING,
    pt INT
)
PARTITIONED BY (pt)
DISTRIBUTED BY HASH(id)
WITH (table_type='Duplication');
INSERT INTO customer_feedback (id, device, feedback_info, pt)
VALUES
(8, 'Huawei MateBook D14', 'Affordable, suitable for students, performance is adequate', 2020),
(1, 'iphone', 'This product is okay, I have used it for 1 year', 2013),
(10, 'Bose QuietComfort 35 II', 'A classic among noise-canceling headphones, maximum comfort', 2021);

    Langkah 1: Buat tugas sinkronisasi batch

    1. Buka halaman Ruang Kerja di Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Temukan ruang kerja yang diinginkan dan pilih Shortcuts > Data Studio di kolom Actions.

    2. Di panel navigasi kiri, klik image untuk menuju halaman pengembangan data. Di sebelah kanan Project Directory, klik image dan pilih Create Node > Data Integration > Batch Synchronization. Kotak dialog Create Node akan muncul.

    3. Atur Path, Data source destination, dan Name node. Lalu, klik OK untuk membuat node sinkronisasi batch.

      Dokumen ini menggunakan contoh tugas sinkronisasi Hologres-ke-Hologres untuk menunjukkan fitur pemrosesan konten AI dalam tugas sinkronisasi batch.

    Langkah 2: Konfigurasikan tugas sinkronisasi

    Setelah Anda membuat node sinkronisasi batch, editor tugas akan terbuka. Konfigurasikan pengaturan berikut:

    1. Sumber data

    Konfigurasikan sumber data dan tujuan data.

    • Type: Anda memilih jenis sumber data dan tujuan data pada langkah Buat tugas sinkronisasi batch. Jenis ini tidak dapat diubah. Untuk menggunakan jenis berbeda, Anda harus membuat tugas sinkronisasi batch baru.

    • Data Source: Pilih sumber data Hologres yang ditautkan ke ruang kerja, atau pilih Add Data Source dari daftar drop-down.

    2. Sumber daya runtime

    1. Pilih Resource Group untuk tugas sinkronisasi. Jika Anda menggunakan kelompok sumber daya arsitektur tanpa server, Anda juga dapat menentukan Resource Usage (CU) untuk tugas tersebut.

    2. Setelah memilih Resource Group, Data Integration secara otomatis menguji konektivitas antara kelompok sumber daya dengan sumber data dan tujuan data. Anda juga dapat mengklik Connectivity Check untuk menjalankan pengujian secara manual.

    3. Sumber

    Konfigurasikan detail tabel sumber untuk sinkronisasi, seperti Schema, Tables, Partition, dan kondisi Data Filtering. Anda dapat mengklik Data Preview untuk melihat data spesifik yang akan disinkronkan.

    Pada contoh ini, pilih public untuk Schema dan pilih customer_feedback untuk Table.

    4. Pemrosesan data

    1. Pada bagian Pemrosesan data, Anda dapat Enable fitur pemrosesan data. Fitur ini memerlukan sumber daya komputasi tambahan dan meningkatkan beban sumber daya tugas.

    2. Klik Add Node dan pilih AI content processing.

    3. Konfigurasikan pengaturan pemrosesan konten AI.

      Parameter utama dijelaskan di bawah ini.

      Parameter

      Deskripsi

      Model Provider

      Didukung oleh Layanan Model Bailian Alibaba Cloud.

      Model Name

      Model yang melakukan pemrosesan data cerdas. Pilih model sesuai kebutuhan. Catatan: Model yang berbeda menghasilkan biaya berbeda. Untuk detailnya, lihat: Biaya Data Agent.

      Processing Description

      Gunakan bahasa alami untuk mendeskripsikan operasi pada bidang sumber. Referensikan nama bidang dengan format #{column_name}. Misalnya, dalam kasus ini, masukkan Please translate '#{feedback_info}' into English.

      Output Field

      Masukkan nama bidang tempat hasil akan disimpan. Jika bidang tersebut belum ada, bidang baru akan dibuat.

      Catatan

      Sesuai konfigurasi pada contoh ini, bidang feedback_info dari tabel sumber diterjemahkan ke dalam bahasa Inggris dan disimpan di bidang feedback_processed.

    4. Klik Output Preview di pojok kanan atas bagian pemrosesan konten AI untuk melihat pratinjau data keluaran akhir.

    5. (Opsional) Anda dapat mengonfigurasi beberapa langkah pemrosesan data yang dijalankan secara berurutan.

      Di bawah daftar pemrosesan data, klik tombol + untuk menambahkan langkah pemrosesan data baru.

    5. Tujuan

    1. Konfigurasikan informasi tabel tujuan, seperti Schema, Table Name, dan Partition.

      • Anda dapat mengklik Generate Target Table Schema untuk membuat tabel tujuan secara cepat.

      • Jika tabel untuk menerima data sudah ada di tujuan, Anda dapat memilihnya.

    2. Konfigurasikan Write Mode dan Write Conflict Policy.

      Pilih public untuk Schema dan customer_feedback_after_translate untuk Table. Atur write mode ke SQL(INSERT INTO), write conflict strategy ke Ignore, dan Clear Hologres table before synchronization ke Do not clear destination table (false). Atur maximum connections ke 9.

    3. Konfigurasikan apakah akan menghapus data yang sudah ada di tabel Hologres sebelum sinkronisasi.

    4. (Opsional) Konfigurasikan Maximum Connections.

      Pengaturan Maximum Connections hanya berlaku ketika write mode adalah SQL(INSERT INTO). Saat Anda menjalankan tugas, pastikan instans Hologres memiliki cukup koneksi idle. Satu tugas dapat menggunakan hingga sembilan koneksi.

    6. Pemetaan bidang tujuan

    Setelah Anda mengonfigurasi sumber data, pemrosesan data, dan tujuan, bagian ini menampilkan pemetaan bidang. Secara default, Data Integration memetakan bidang berdasarkan nama dan posisi. Untuk menyesuaikan pemetaan (misalnya, memetakan feedback_processed ke translate_feedback), klik bidang yang sesuai untuk menghubungkannya.

    Catatan

    Pada contoh ini, selain pemetaan nama yang sama untuk bidang tabel sumber yang sudah ada (id, device, feedback_info, dan pt), Anda juga harus memetakan secara manual bidang feedback_processed, yang menyimpan hasil terjemahan, ke bidang translate_feedback di tabel tujuan.

    Langkah 3: Debug tugas

    1. Di panel kanan editor tugas, klik Run Configuration. Konfigurasikan Resource Group dan Script Parameters terkait untuk debugging node ini.

    2. Di bilah alat di bagian atas node, klik Save lalu klik Running. Tunggu hingga tugas selesai, dan periksa apakah eksekusi berhasil. Anda dapat membuka database tujuan untuk memverifikasi bahwa data tabel sesuai harapan.

    Langkah 4: Konfigurasikan penjadwalan

    Untuk menjalankan node sinkronisasi batch sesuai jadwal, konfigurasikan Scheduling Policy di panel Scheduling Settings di sebelah kanan. Untuk informasi lebih lanjut, lihat Konfigurasikan properti penjadwalan node.

    Langkah 5: Publikasikan node

    Klik ikon Publish di bilah alat node untuk memulai proses publikasi dan memublikasikan tugas ke lingkungan produksi. Tugas hanya akan dijalankan sesuai jadwal setelah dipublikasikan.

    Langkah berikutnya: O&M Tugas

    Setelah Anda mempublikasikan node, Anda dapat mengklik Backfill Data atau Perform O&M di kotak dialog publikasi.

    • Backfill Data: Opsi ini hanya mendukung pengisian ulang data untuk node saat ini. Untuk operasi pengisian ulang data yang lebih kompleks, buka Pusat Operasi. Untuk informasi lebih lanjut, lihat Kelola instans pengisian ulang data.

    • Perform O&M: Setelah Anda mempublikasikan tugas, Pusat Operasi akan mengelolanya secara otomatis. Di Pusat Operasi, Anda dapat melihat status eksekusi tugas atau memicunya secara manual. Untuk informasi lebih lanjut, lihat Pusat Operasi.