:Konfigurasikan sinkronisasi batch menggunakan Antarmuka Tanpa Kode 2.0

Buka halaman DataStudio

1. Masuk ke Konsol DataWorks.
2. Di panel navigasi kiri, klik Workspace list.
3. Pilih wilayah ruang kerja Anda, temukan ruang kerja tersebut, lalu klik Data Studio di kolom Aksi.

Prosedur

1. Langkah 1: Buat node sinkronisasi batch
2. Langkah 2: Konfigurasikan tugas sinkronisasi batch
   1. Konfigurasikan koneksi jaringan
   2. Pilih objek yang akan disinkronkan
   3. Konfigurasikan pemetaan bidang
   4. Konfigurasikan pengendalian saluran
   5. Konfigurasikan properti penjadwalan
3. Langkah 3: Komit dan terapkan tugas

Langkah 1: Buat node sinkronisasi batch

1. Buat alur kerja. Untuk informasi lebih lanjut, lihat Buat alur kerja.
2. Buat node sinkronisasi batch.
   Buat node sinkronisasi batch dengan salah satu dari dua cara berikut:

   • Metode 1: Perluas alur kerja, klik kanan Data integration, lalu pilih Create Node > Batch Synchronization.
   • Metode 2: Klik ganda nama alur kerja. Dari folder Data integration, seret node Batch Synchronization ke kanvas editor alur kerja di sebelah kanan.
3. Di kotak dialog yang muncul, konfigurasikan parameter untuk node sinkronisasi batch.

Langkah 2: Konfigurasikan tugas sinkronisasi batch

1. Konfigurasikan koneksi jaringan.
   Pilih sumber dan tujuan untuk tugas sinkronisasi batch serta kelompok sumber daya untuk menjalankan tugas, lalu uji konektivitasnya.

   • Data Integration juga mendukung sinkronisasi data dari database dan tabel sumber yang telah di-shard ke satu tabel tujuan. Untuk informasi lebih lanjut, lihat Sinkronisasi sharding.
   • Jika koneksi jaringan gagal antara sumber data dan kelompok sumber daya, ikuti petunjuk di layar atau lihat Solusi konektivitas jaringan untuk mengonfigurasi koneksi jaringan.

   Penting Opsi konfigurasi bervariasi tergantung plugin. Konten berikut menggunakan pengaturan umum sebagai contoh. Untuk memeriksa apakah plugin mendukung pengaturan tertentu dan cara mengonfigurasinya, lihat dokumentasi plugin tersebut. Untuk informasi lebih lanjut, lihat Sumber data yang didukung dan plugin Reader/Writer.
2. Klik Next step untuk mengonfigurasi tugas sinkronisasi.
   1. Pilih objek yang akan disinkronkan.
      Di area pemilihan sumber data, konfigurasikan tabel sumber dan tujuan, serta tentukan cakupan sinkronisasi. Di area Source di sebelah kiri, pilih jenis sumber data (misalnya, MySQL), database, dan tabel. Di area Destination di sebelah kanan, pilih sumber data tujuan (misalnya, MaxCompute) dan tabel tujuan. Lalu, konfigurasikan opsi Clean-up Rule (misalnya, Clean Existing Data Before Writing (Insert Overwrite)) dan Empty String as Null. Anda dapat mengklik Generate Target Table untuk membuat tabel tujuan secara cepat.

      • Reader

        Actions	Description
        Konfigurasikan cakupan sinkronisasi	Jika Anda menentukan kondisi filter di kotak teks Data Filter, tugas sinkronisasi hanya akan menyinkronkan data yang memenuhi kondisi filter tersebut. Anda juga dapat menggunakan parameter penjadwalan dalam kondisi filter agar kondisi tersebut berubah secara dinamis sesuai waktu penjadwalan tugas. Hal ini menerapkan sinkronisasi data inkremental. Metode konfigurasi sinkronisasi data inkremental bervariasi tergantung plugin. Untuk informasi lebih lanjut, lihat Skenario: Konfigurasikan tugas sinkronisasi batch untuk data inkremental. Catatan Saat Anda mengklik Next untuk mengonfigurasi properti penjadwalan, Anda dapat memberikan nilai pada variabel yang didefinisikan dalam pengaturan filter data dan tabel tujuan. Hal ini memungkinkan Anda menulis data inkremental atau penuh ke partisi berbasis waktu tertentu di tabel tujuan. Untuk informasi lebih lanjut tentang cara menggunakan parameter penjadwalan, lihat Format parameter penjadwalan yang didukung. Sintaksis kondisi filter sinkronisasi inkremental mirip dengan sintaksis database standar. Selama sinkronisasi, tugas sinkronisasi batch menggabungkan pernyataan SQL lengkap untuk mengekstraksi data dari sumber. Jika Anda tidak menentukan kondisi filter data, tugas akan menyinkronkan semua data di tabel secara default.
        Konfigurasikan kunci shard untuk database relasional	Menentukan bidang sumber untuk memisahkan data. Saat tugas sinkronisasi dijalankan, data dibagi menjadi beberapa sub-tugas berdasarkan kunci ini, yang memungkinkan pembacaan data secara paralel dan batch. Catatan Gunakan primary key tabel sebagai splitPk karena primary key biasanya terdistribusi merata, yang membantu mencegah hotspot data pada shard yang dihasilkan. Saat ini, splitPk hanya mendukung pemisahan data bertipe integer. Tidak mendukung string, float, tanggal, atau tipe data lainnya. Jika Anda menentukan tipe data yang tidak didukung, fungsi splitPk akan diabaikan, dan tugas menggunakan satu saluran untuk sinkronisasi. Jika Anda tidak menentukan splitPk atau membiarkannya kosong, tugas akan menyinkronkan data dalam satu saluran. Tidak semua plugin mendukung kunci shard untuk mengonfigurasi logika pemisahan tugas. Untuk informasi lebih lanjut, lihat dokumentasi plugin spesifik Anda. Untuk informasi lebih lanjut, lihat Sumber data yang didukung dan plugin Reader/Writer.

      • Writer

        Actions	Description
        Konfigurasikan pernyataan SQL pra- dan pasca-sinkronisasi	Beberapa sumber data memungkinkan Anda menjalankan pernyataan SQL di tujuan sebelum data ditulis (pra-sinkronisasi) atau setelah data ditulis (pasca-sinkronisasi). Contoh: MySQL Writer mendukung preSql dan postSql. Anda dapat menjalankan perintah MySQL sebelum atau setelah data ditulis ke MySQL. Misalnya, di konfigurasi Prepare statement before import (preSql) MySQL Writer, Anda dapat memasukkan perintah truncate table tablename untuk menghapus data lama dari tabel sebelum data baru ditulis.
        Tentukan mode penulisan untuk konflik	Menentukan cara menangani konflik penulisan, seperti konflik path atau primary key. Pengaturan yang tersedia bergantung pada fitur sumber data dan plugin Writer. Untuk detail konfigurasi, lihat dokumentasi plugin Writer spesifik Anda.

   2. Konfigurasikan pemetaan bidang.
      Setelah Anda mengonfigurasi pemetaan bidang, tugas akan menulis data dari bidang sumber ke bidang tujuan yang sesuai berdasarkan pemetaan tersebut.

      Selama sinkronisasi, ketidaksesuaian tipe data antara bidang sumber dan tujuan dapat menyebabkan data kotor, yang dapat mengakibatkan kegagalan penulisan. Anda dapat mengonfigurasi toleransi terhadap data kotor di langkah Channel.

      Catatan Jika bidang sumber tidak dipetakan ke bidang tujuan, datanya tidak akan disinkronkan.

      Anda dapat memetakan bidang berdasarkan nama atau baris. Anda juga dapat melakukan tindakan berikut:

      • Berikan nilai ke bidang tujuan: Klik Add a row untuk menambahkan konstanta atau variabel ke tabel tujuan, seperti '123' atau '${variable_name}'.
        Catatan Saat Anda mengklik Next untuk mengonfigurasi properti penjadwalan, Anda dapat memberikan nilai pada variabel yang didefinisikan di sini. Untuk informasi lebih lanjut tentang cara menggunakan parameter penjadwalan, lihat Format parameter penjadwalan yang didukung.
      • Edit bidang sumber: Klik ikon di samping tipe data untuk melakukan tindakan berikut:
        • Gunakan fungsi yang didukung oleh database sumber untuk memproses bidang. Misalnya, gunakan Max(id) untuk menyinkronkan hanya catatan dengan ID maksimum.
        • Edit bidang sumber secara manual jika beberapa bidang tidak diambil secara otomatis selama proses pemetaan.
        Catatan MaxCompute Reader tidak mendukung fungsi.
   3. Konfigurasikan pengendalian saluran.
      Anda dapat mengonfigurasi pengaturan saluran untuk mengontrol berbagai properti proses sinkronisasi data.

      Parameter	Description
      Expected Maximum Concurrency	Jumlah maksimum thread paralel untuk membaca dari sumber atau menulis ke tujuan. Catatan Karena batasan sumber daya dan faktor lainnya, jumlah sesi konkuren aktual mungkin tidak mencapai nilai yang ditentukan. Biaya untuk kelompok sumber daya debugging didasarkan pada jumlah sesi konkuren aktual. Untuk informasi lebih lanjut, lihat Metrik kinerja.
      Bandwidth Throttling	Laju sinkronisasi data. Rate Limit: Anda dapat membatasi laju sinkronisasi untuk melindungi database sumber dari beban berlebihan. Laju minimum adalah 1 MB/s. No Rate Limit: Tugas berjalan dengan kecepatan maksimum yang dimungkinkan oleh lingkungan perangkat keras dan pengaturan konkurensi. Catatan Metrik traffic ini diukur oleh Data Integration dan mungkin tidak mencerminkan traffic kartu antarmuka jaringan (NIC) aktual. Biasanya, traffic NIC adalah 1 hingga 2 kali traffic saluran. Perbedaan aktual tergantung pada metode serialisasi sistem penyimpanan data.
      Error record count (dirty data control)	Ambang batas untuk data kotor dan dampaknya terhadap tugas. Penting Jumlah besar data kotor dapat memperlambat kecepatan sinkronisasi secara keseluruhan. Jika tidak dikonfigurasi, tugas secara default mengizinkan data kotor, dan eksekusi tugas tidak terpengaruh. Jika diatur ke 0, tidak ada data kotor yang diizinkan. Tugas gagal jika terdapat data kotor. Jika Anda mengizinkan data kotor dan menetapkan ambang batas: Jika jumlah catatan data kotor berada dalam ambang batas, tugas mengabaikan data kotor (tidak ditulis ke tujuan) dan terus berjalan. Jika jumlah catatan data kotor melebihi ambang batas, tugas gagal. Catatan Apa itu data kotor? Data kotor adalah data yang tidak berarti bagi bisnis Anda, diformat salah, atau menyebabkan masalah selama sinkronisasi. Data Integration menganggap suatu catatan sebagai data kotor jika terjadi error saat menulisnya ke sumber data tujuan. Setiap catatan yang gagal ditulis diklasifikasikan sebagai data kotor. Sebagai contoh, jika Anda mencoba menulis nilai VARCHAR dari sumber ke kolom INT di tujuan, mungkin terjadi error konversi sehingga data gagal ditulis. Catatan ini dianggap sebagai data kotor. Saat Anda mengonfigurasi tugas sinkronisasi, Anda dapat mengontrol apakah data kotor diizinkan dan menetapkan batas jumlah catatan data kotor. Jika batas dilampaui, tugas gagal.
      Distributed Execution	Menentukan apakah tugas dijalankan dalam mode terdistribusi. Enabled: Mode terdistribusi membagi tugas menjadi irisan dan mengeksekusinya secara konkuren di beberapa node. Hal ini memungkinkan kecepatan sinkronisasi meningkat secara horizontal seiring ukuran kluster eksekusi, mengatasi bottleneck mesin tunggal. Disabled: Konkurensi yang dikonfigurasi hanya berlaku untuk thread pada satu mesin dan tidak memanfaatkan komputasi multi-mesin. Anda dapat menggunakan mode terdistribusi jika memiliki kebutuhan sinkronisasi berkinerja tinggi. Mode ini juga meningkatkan pemanfaatan sumber daya dengan menggunakan sumber daya terfragmentasi pada mesin. Penting Jika grup sumber daya eksklusif Anda hanya memiliki satu mesin, jangan gunakan mode terdistribusi karena tidak dapat memanfaatkan kemampuan multi-mesin. Jika satu mesin sudah memenuhi kebutuhan kecepatan Anda, gunakan mode mesin tunggal untuk kesederhanaan. Anda hanya dapat mengaktifkan kemampuan pemrosesan terdistribusi jika jumlah sesi konkuren adalah 8 atau lebih. Dukungan untuk mode terdistribusi bervariasi tergantung sumber data. Untuk detailnya, lihat dokumentasi plugin spesifik Anda: Sumber data yang didukung dan plugin Reader/Writer.

      Catatan Pengaturan di atas, bersama dengan kinerja sumber data sumber dan lingkungan jaringan, memengaruhi kecepatan sinkronisasi secara keseluruhan. Untuk informasi lebih lanjut tentang penyetelan kecepatan, lihat Percepat atau kendalikan tugas sinkronisasi batch.
3. Klik Next step untuk mengonfigurasi properti penjadwalan.
   Untuk tugas sinkronisasi batch terjadwal secara berkala, Anda harus mengonfigurasi properti penjadwalan otomatisnya. Untuk informasi tentang cara menggunakan parameter penjadwalan, lihat Gunakan parameter penjadwalan di Data Integration.

   • Konfigurasikan properti penjadwalan node: Tetapkan parameter penjadwalan sebagai nilai untuk variabel yang digunakan dalam konfigurasi sebelumnya. Anda dapat menetapkan konstanta atau variabel.
   • Konfigurasikan properti waktu: Tetapkan jadwal berkala untuk tugas di lingkungan produksi. Di bagian properti waktu konfigurasi penjadwalan, Anda dapat mengonfigurasi properti seperti metode pembuatan instans, jenis penjadwalan, dan siklus penjadwalan.
   • Konfigurasikan properti sumber daya: Pilih kelompok sumber daya penjadwalan untuk mengirimkan tugas ke kelompok sumber daya eksekusi untuk Data Integration. Di bagian properti sumber daya konfigurasi penjadwalan, Anda dapat memilih kelompok sumber daya yang akan digunakan untuk menjalankan tugas terjadwal.
     Catatan Kelompok sumber daya penjadwalan mengirimkan tugas batch Data Integration ke kelompok sumber daya eksekusi, yang mengakibatkan biaya penjadwalan. Untuk informasi lebih lanjut tentang mekanisme pengiriman tugas, lihat Kelompok sumber daya di DataWorks.
4. Klik Complete configuration.

Langkah 3: Komit dan terapkan tugas

Jika tugas perlu dijalankan sesuai jadwal berkala, Anda harus menerapkannya ke lingkungan produksi. Untuk informasi lebih lanjut tentang penerapan tugas, lihat Terapkan tugas.