All Products
Search

This Product

    DataWorks:Gunakan Antarmuka tanpa kode

    Document Center

    DataWorks:Gunakan Antarmuka tanpa kode

    Last Updated:Mar 25, 2026

    Data Integration menyediakan Antarmuka tanpa kode untuk menyinkronkan data penuh atau inkremental secara berkala dari satu tabel sumber atau tabel ter-shard ke tabel tujuan tanpa menulis kode apa pun. Anda dapat mengonfigurasi tugas sinkronisasi dengan memilih sumber dan tujuan serta menggunakan parameter penjadwalan DataWorks. Topik ini menjelaskan pengaturan umum untuk mengonfigurasi tugas sinkronisasi batch tabel tunggal di Antarmuka tanpa kode. Konfigurasi dapat berbeda tergantung pada sumber data. Untuk detailnya, lihat Sumber data yang didukung dan solusi sinkronisasi.

    Prasyarat

    • Sumber data telah dikonfigurasi. Sebelum menyiapkan tugas sinkronisasi Data Integration, pastikan database sumber dan tujuan yang diperlukan telah dikonfigurasi di Data Source Management di DataWorks. Untuk informasi lebih lanjut tentang konfigurasi sumber data, lihat Daftar sumber data.

      Catatan

    • Kelompok sumber daya dengan spesifikasi yang sesuai telah dibeli dan dikaitkan dengan ruang kerja. Untuk informasi lebih lanjut, lihat Gunakan kelompok sumber daya serverless.

    • Koneksi jaringan telah dibuat antara kelompok sumber daya dan sumber data. Untuk informasi lebih lanjut, lihat Konfigurasikan konektivitas jaringan.

    Langkah 1: Buat node Data Integration

    Data Studio (versi baru)

    1. Masuk ke Konsol DataWorks. Di panel navigasi kiri, pilih Data Development and O&M > Data Studio. Pilih ruang kerja Anda dari daftar drop-down dan klik Go to Data Studio.

    2. Buat alur kerja. Untuk informasi lebih lanjut, lihat Alur kerja.

    3. Buat node Data Integration. Anda dapat menggunakan salah satu metode berikut:

      • Metode 1: Di daftar alur kerja, klik ikon image di pojok kanan atas dan pilih Create Node > Data Integration.

      • Metode 2: Klik ganda nama alur kerja dan seret node Data Integration dari direktori Data Integration ke editor alur kerja di sebelah kanan.

    4. Konfigurasikan jenis sumber dan tujuan untuk node tersebut, pilih Single Table Batch Sync, lalu klik OK.

    Data Studio (versi lama)

    1. Masuk ke Konsol DataWorks. Di panel navigasi kiri, pilih Data Development and O&M > Data Development. Pilih ruang kerja Anda dari daftar drop-down dan klik Go to Data Development.

    2. Buat alur kerja. Untuk informasi lebih lanjut, lihat Buat alur kerja.

    3. Buat node sinkronisasi batch. Anda dapat menggunakan salah satu metode berikut:

      • Metode 1: Perluas alur kerja, klik kanan Data Integration, lalu pilih Create Node > Batch Synchronization.

      • Metode 2: Klik ganda nama alur kerja dan seret node Batch Synchronization dari direktori Data Integration ke editor alur kerja di sebelah kanan.

    4. Buat node sinkronisasi batch seperti yang diminta.

    Langkah 2: Konfigurasikan sumber data dan sumber daya waktu proses

    image

    1. Di bagian Source dan Destination, pilih objek sumber dan tujuan spesifik untuk dibaca dan ditulis.

    2. Di bagian Runtime Resources, pilih resource group untuk tugas sinkronisasi dan alokasikan CUs dari resource group. Jika tugas sinkronisasi gagal karena error kehabisan memori (OOM) akibat sumber daya tidak mencukupi, tingkatkan nilai CU. Untuk konfigurasi kuota sumber daya yang direkomendasikan, lihat Metrik kinerja Data Integration.

    3. Pastikan baik sumber maupun tujuan lolos uji konektivitas. Jika koneksi jaringan antara sumber data dan kelompok sumber daya gagal, konfigurasikan koneksi jaringan seperti yang diminta atau seperti yang dijelaskan dalam Konfigurasikan konektivitas jaringan.

    Catatan

    • Jika Anda telah membuat kelompok sumber daya tetapi tidak ditampilkan di sini, konfirmasi apakah kelompok sumber daya tersebut telah disambungkan ke ruang kerja. Untuk informasi lebih lanjut, lihat Gunakan kelompok sumber daya serverless.

    Langkah 3: Konfigurasikan solusi sinkronisasi

    Di bagian sumber dan tujuan, konfigurasikan tabel yang akan dibaca dan ditulis, serta tentukan rentang data untuk sinkronisasi.

    Penting

    Konfigurasi plugin dapat bervariasi. Bagian berikut menunjukkan contoh pengaturan umum. Untuk memeriksa apakah plugin mendukung pengaturan tertentu dan cara mengimplementasikannya, lihat dokumentasi plugin tersebut. Untuk informasi lebih lanjut, lihat Daftar sumber data.

    1. Source

    Di bagian sumber, konfigurasikan tabel data dan isi parameter yang diperlukan seperti yang diminta.

    Aksi

    Deskripsi

    Penyaringan data

    Beberapa jenis sumber mendukung penyaringan data. Anda dapat menentukan kondisi (klausa WHERE tanpa kata kunci WHERE) untuk menyaring data sumber. Saat waktu proses, tugas hanya menyinkronkan data yang memenuhi kondisi tersebut. Untuk informasi lebih lanjut, lihat Skenario: Konfigurasikan tugas sinkronisasi batch untuk data inkremental.

    Untuk melakukan sinkronisasi inkremental, Anda dapat menggabungkan kondisi filter ini dengan parameter penjadwalan agar menjadi dinamis. Misalnya, dengan gmt_create >= '${bizdate}', tugas hanya menyinkronkan data baru dari hari tersebut setiap kali dijalankan. Anda juga harus memberikan nilai variabel saat mengonfigurasi properti penjadwalan. Untuk informasi lebih lanjut, lihat Format parameter penjadwalan yang didukung.

    Metode untuk mengonfigurasi sinkronisasi inkremental bervariasi tergantung pada sumber data dan plugin.

    Jika Anda tidak mengonfigurasi filter data, tugas secara default akan menyinkronkan semua data dari tabel.

    Kunci sharding

    Tentukan bidang dalam data sumber yang akan digunakan sebagai kunci sharding (juga dikenal sebagai splitPk). Selama eksekusi, tugas sinkronisasi membagi data menjadi beberapa subtugas berdasarkan kunci ini untuk pembacaan data batch secara konkuren.

    Kami merekomendasikan menggunakan kunci primer tabel sebagai kunci sharding karena kunci primer biasanya terdistribusi merata. Hal ini membantu mencegah hotspot data pada shard yang dibuat.

    Kunci sharding harus berupa bilangan bulat. Tipe data string, floating-point, tanggal, dan lainnya tidak didukung. Jika Anda menentukan tipe yang tidak didukung, DataWorks akan mengabaikan kunci sharding dan menggunakan satu saluran untuk sinkronisasi.

    Jika Anda tidak menentukan kunci sharding atau nilainya kosong, tugas akan menggunakan satu saluran untuk menyinkronkan data tabel.

    Tidak semua plugin mendukung penentuan kunci sharding untuk mengonfigurasi logika sharding tugas. Informasi di atas hanya sebagai contoh. Untuk detailnya, rujuk dokumentasi plugin spesifik Anda. Untuk informasi lebih lanjut, lihat Daftar sumber data.

    2. Pemrosesan data

    Penting

    Pemrosesan data adalah fitur yang tersedia di versi baru Data Development. Untuk menggunakan fitur ini di versi lama, Anda harus memilih Use New Version (with data processing feature) saat membuat tugas. Kami merekomendasikan agar Anda meningkatkan ruang kerja lama ke versi baru untuk mengakses semua fitur. Untuk informasi lebih lanjut, lihat Panduan peningkatan Data Studio.

    Pemrosesan data memungkinkan Anda memproses data dari tabel sumber menggunakan metode seperti penggantian string, pemrosesan berbantuan AI, dan penyematan data sebelum menuliskannya ke tabel tujuan.

    image

    1. Klik sakelar untuk mengaktifkan pemrosesan data.

    2. Di daftar pemrosesan data, klik Add Node dan pilih jenis pemrosesan data: Replace String, AI Process, atau Data Embedding. Anda dapat menambahkan beberapa node pemrosesan data, yang akan diproses oleh DataWorks secara berurutan.

    3. Konfigurasikan aturan pemrosesan data seperti yang diminta. Untuk informasi lebih lanjut tentang pemrosesan berbantuan AI dan penyematan data, lihat Pemrosesan data.

      Catatan

      Pemrosesan data mengonsumsi sumber daya komputasi tambahan, sehingga meningkatkan beban sumber daya dan waktu proses tugas sinkronisasi. Untuk menghindari dampak pada efisiensi sinkronisasi, pertahankan logika pemrosesan sesederhana mungkin.

    3. Destination

    Di bagian tujuan, konfigurasikan tabel data dan isi parameter yang diperlukan seperti yang diminta.

    Aksi

    Deskripsi

    Konfigurasikan pernyataan pra- dan pasca-sinkronisasi

    Beberapa sumber data mendukung eksekusi pernyataan SQL pada tujuan sebelum menulis data (pra-sinkronisasi) dan setelah data ditulis (pasca-sinkronisasi).

    Sebagai contoh, MySQL Writer mendukung pengaturan preSql dan postSql, yang memungkinkan Anda mengeksekusi perintah MySQL sebelum atau setelah data ditulis ke MySQL. Anda dapat mengonfigurasi perintah MySQL truncate table tablename di bidang Pre-import Preparation Statement (preSql) untuk menghapus data yang ada dari tabel sebelum data baru ditulis.

    Tentukan mode penulisan untuk konflik

    Tentukan cara data ditulis ke tujuan ketika terjadi konflik, seperti konflik path atau kunci primer. Pengaturan ini bervariasi tergantung pada karakteristik sumber data dan dukungan plugin writer. Untuk detail konfigurasi, lihat dokumentasi plugin writer spesifik.

    4. Konfigurasikan pemetaan bidang

    Setelah memilih sumber dan tujuan, Anda harus menentukan pemetaan antara kolom sumber dan tujuan. Tugas akan menulis data dari bidang sumber ke bidang tujuan yang sesuai berdasarkan pemetaan ini.

    • Jika bidang sumber tidak dipetakan ke bidang tujuan, datanya tidak akan disinkronkan.

    • Jika pemetaan otomatis salah, Anda dapat menyesuaikannya secara manual.

    • Jika pemetaan bidang tidak diperlukan, Anda dapat menghapus garis penghubung antara bidang sumber dan tujuan secara manual. Data dari bidang sumber tersebut tidak akan disinkronkan.

    Selama sinkronisasi, ketidakcocokan tipe bidang antara sumber dan tujuan dapat menghasilkan data kotor, yang dapat menyebabkan kegagalan penulisan. Untuk mengatur toleransi terhadap data kotor, rujuk Advanced Settings pada langkah berikutnya.

    Anda dapat memetakan bidang berdasarkan nama atau posisi baris. Anda juga dapat melakukan operasi berikut:

    • Tetapkan nilai ke bidang tujuan: Di kolom Source Field, klik Add Field untuk menambahkan konstanta, parameter penjadwalan, atau variabel bawaan ke tabel tujuan. Misalnya, Anda dapat menambahkan nilai seperti '123', '${scheduling_parameter}', atau '#{built_in_variable}#'.

      Catatan

      Untuk informasi lebih lanjut tentang cara menggunakan parameter penjadwalan, lihat Format parameter penjadwalan yang didukung.

    • Anda dapat menambahkan variabel bawaan secara manual dan memetakannya ke bidang tujuan untuk meneruskan nilainya ke node downstream.

      Tabel berikut mencantumkan variabel bawaan yang tersedia untuk setiap plugin.

      Variabel bawaan

      Deskripsi

      Plugin yang didukung

      '#{DATASOURCE_NAME_SRC}#'

      Nama sumber data sumber

      • MySQL Reader

      • MySQL (Sharded) Reader

      • PolarDB Reader

      • PolarDB (Sharded) Reader

      • PostgreSQL Reader

      • PolarDB-O Reader

      • PolarDB-O (Sharded) Reader

      '#{DB_NAME_SRC}#'

      Nama database tempat tabel sumber berada

      • MySQL Reader

      • MySQL (Sharded) Reader

      • PolarDB Reader

      • PolarDB (Sharded) Reader

      • PostgreSQL Reader

      • PolarDB-O Reader

      • PolarDB-O (Sharded) Reader

      '#{SCHEMA_NAME_SRC}#'

      Nama skema tempat tabel sumber berada

      • PolarDB Reader

      • PolarDB (Sharded) Reader

      • PostgreSQL Reader

      • PolarDB-O Reader

      • PolarDB-O (Sharded) Reader

      '#{TABLE_NAME_SRC}#'

      Nama tabel sumber

      • MySQL Reader

      • MySQL (Sharded) Reader

      • PolarDB Reader

      • PolarDB (Sharded) Reader

      • PostgreSQL Reader

      • PolarDB-O Reader

      • PolarDB-O (Sharded) Reader

    • Edit source fields: Klik Manually Edit Mapping untuk melakukan operasi berikut:

      • Gunakan fungsi yang didukung oleh database sumber untuk memproses bidang. Misalnya, Anda dapat menggunakan Max(id) untuk hanya menyinkronkan nilai maksimum.

      • Edit bidang sumber secara manual jika tidak semua bidang diambil selama proses pemetaan bidang.

      Catatan

      MaxCompute Reader tidak mendukung penggunaan fungsi.

    Langkah 4: Konfigurasikan Pengaturan Lanjutan

    Penting

    Pengaturan Lanjutan sebelumnya dikenal sebagai Channel Control di versi sinkronisasi data sebelumnya.

    Anda dapat menggunakan pengaturan lanjutan untuk mengontrol properti proses sinkronisasi data. Untuk informasi lebih lanjut tentang parameter tersebut, lihat Hubungan antara konkurensi dan pembatasan kecepatan untuk sinkronisasi batch.

    Parameter

    Deskripsi

    Expected Maximum Concurrency

    Jumlah maksimum thread yang dapat digunakan untuk membaca dari sumber atau menulis ke tujuan secara konkuren untuk tugas saat ini.

    Catatan

    • Karena faktor seperti spesifikasi sumber daya, konkurensi aktual saat waktu proses mungkin tidak melebihi nilai yang dikonfigurasi. Biaya untuk kelompok sumber daya debugging didasarkan pada konkurensi aktual. Untuk informasi lebih lanjut, lihat Metrik kinerja.

    • Biaya penjadwalan tugas didasarkan pada jumlah tugas sinkronisasi batch, bukan konkurensi yang dikonfigurasi untuk tugas tersebut.

    Synchronization Rate

    Menentukan laju sinkronisasi.

    • Pembatasan kecepatan: Anda dapat mengontrol laju sinkronisasi dengan pembatasan kecepatan untuk melindungi database sumber dari tekanan berlebih akibat kecepatan ekstraksi yang tinggi. Batas kecepatan minimum adalah 1 MB/s.

    • Tanpa pembatasan kecepatan: Ketika pembatasan kecepatan dinonaktifkan, tugas memberikan kinerja transfer maksimum yang didukung perangkat keras, dalam batas konkurensi yang dikonfigurasi.

    Catatan

    Metrik traffic adalah ukuran dalam Data Integration itu sendiri dan tidak mewakili traffic kartu antarmuka jaringan (NIC) yang sebenarnya. Biasanya, traffic NIC adalah satu hingga dua kali lipat traffic saluran. Inflasi traffic aktual tergantung pada serialisasi protokol transfer sistem penyimpanan data spesifik.

    Policy for Dirty Data Records

    Data kotor mengacu pada catatan data yang tidak dapat ditulis ke tujuan karena pengecualian, seperti konflik tipe atau pelanggaran batasan. Sinkronisasi batch memungkinkan Anda menentukan kebijakan data kotor, termasuk ambang batas toleransi dan dampaknya terhadap tugas.

    • Secara default, data kotor diizinkan dan tidak akan memengaruhi eksekusi tugas.

    • Jika diatur ke 0, tidak ada data kotor yang diizinkan. Jika ada data kotor yang dihasilkan selama sinkronisasi, tugas akan gagal.

    • Jika data kotor diizinkan dan ambang batas ditetapkan:

      • Jika jumlah data kotor berada dalam ambang batas, tugas sinkronisasi mengabaikan data kotor tersebut (tidak ditulis ke tujuan) dan berjalan normal.

      • Jika jumlah data kotor melebihi ambang batas, tugas sinkronisasi gagal.

    Penting

    Jumlah data kotor yang berlebihan dapat memengaruhi kecepatan keseluruhan tugas sinkronisasi.

    Distributed Execution

    Menentukan apakah akan menggunakan mode terdistribusi untuk mengeksekusi tugas.

    • Aktifkan: Mode eksekusi terdistribusi membagi potongan tugas Anda menjadi beberapa proses untuk eksekusi konkuren, mengatasi bottleneck eksekusi proses tunggal dan meningkatkan efisiensi sinkronisasi.

    • Nonaktifkan: Mempertahankan satu proses berjalan.

    Anda dapat menggunakan mode terdistribusi jika memiliki persyaratan tinggi terhadap kinerja sinkronisasi. Mode ini juga memanfaatkan sumber daya mesin terfragmentasi secara efisien.

    Penting

    • Pemrosesan terdistribusi hanya dapat diaktifkan ketika konkurensi 8 atau lebih.

    • Mengaktifkan opsi ini mengonsumsi lebih banyak sumber daya. Jika terjadi error OOM saat waktu proses, coba nonaktifkan opsi ini.

    Time Zone

    Jika data disinkronkan lintas zona waktu, Anda dapat mengatur zona waktu sumber untuk memastikan konversi yang benar.

    Catatan

    Kecepatan sinkronisasi keseluruhan dipengaruhi oleh pengaturan di atas, serta oleh kinerja sumber data sumber dan lingkungan jaringan. Untuk informasi lebih lanjut tentang kecepatan sinkronisasi dan optimalisasi, lihat Percepat atau batasi laju tugas sinkronisasi batch.

    Langkah 5: Konfigurasikan properti penjadwalan

    Untuk tugas sinkronisasi batch yang dijadwalkan secara berkala, Anda harus mengonfigurasi properti penjadwalannya. Di halaman konfigurasi node, klik Scheduling di panel kanan untuk mengonfigurasi properti tersebut.

    Anda perlu mengonfigurasi parameter penjadwalan, kebijakan penjadwalan, waktu jadwal, dan dependensi penjadwalan untuk tugas sinkronisasi. Proses konfigurasi sama dengan node pengembangan data lainnya dan tidak diulang di sini.

    Untuk informasi lebih lanjut tentang cara menggunakan parameter penjadwalan, lihat Skenario khas penggunaan parameter penjadwalan di Data Integration.

    Langkah 6: Uji dan publikasikan tugas

    • Konfigurasikan parameter debugging.

      Di halaman konfigurasi tugas sinkronisasi batch, klik Run Configuration di panel kanan dan konfigurasikan parameter berikut untuk menjalankan pengujian.

      Parameter

      Deskripsi

      Resource Group

      Pilih kelompok sumber daya yang terhubung ke sumber data.

      Script Parameters

      Berikan nilai ke parameter placeholder dalam tugas sinkronisasi data. Misalnya, jika tugas dikonfigurasi dengan parameter ${bizdate}, Anda harus mengonfigurasi parameter tanggal dalam format yyyymmdd.

    • Jalankan tugas.

      Klik ikon image Run di bilah alat untuk menjalankan dan men-debug tugas di Data Development. Setelah tugas dijalankan, Anda dapat membuat node yang sesuai dengan jenis tabel tujuan untuk mengkueri datanya dan memverifikasi bahwa data telah disinkronkan dengan benar.

    • Publikasikan tugas.

      Setelah tugas berhasil dijalankan, jika perlu dijadwalkan secara berkala, klik ikon image di halaman konfigurasi node untuk mempublikasikan tugas ke lingkungan produksi. Untuk informasi lebih lanjut tentang publikasi tugas, lihat Publikasikan tugas.

    Batasan

    • Anda hanya dapat mengonfigurasi tugas sinkronisasi batch tabel tunggal di Data Development.

    • Beberapa sumber data tidak mendukung konfigurasi tugas sinkronisasi batch di Antarmuka tanpa kode.

      Setelah memilih sumber data, jika muncul pesan yang menunjukkan bahwa Antarmuka tanpa kode tidak didukung, Anda dapat mengklik ikon image.png di bilah alat untuk beralih ke editor kode dan melanjutkan konfigurasi tugas. Untuk informasi lebih lanjut, lihat Konfigurasi editor kode.

      image.png

    • Antarmuka tanpa kode mudah digunakan tetapi tidak mendukung beberapa fitur lanjutan. Untuk kontrol yang lebih detail halus, klik ikon untuk mengonversi tugas menjadi skrip dan konfigurasikan di editor kode.

    Langkah selanjutnya

    Setelah mempublikasikan tugas ke lingkungan produksi, Anda dapat membuka Pusat Operasi untuk melihat jadwalnya. Untuk informasi lebih lanjut tentang menjalankan dan mengelola tugas Data Integration, memantau statusnya, serta melakukan O&M pada kelompok sumber daya, lihat O&M untuk tugas sinkronisasi batch.

    Referensi