:Konfigurasikan node sinkronisasi batch menggunakan editor kode (2.0)

Pergi ke halaman DataStudio

1. Masuk ke Konsol DataWorks.
2. Di panel navigasi kiri, klik Workspaces.
3. Di bilah navigasi atas, pilih wilayah tempat workspace berada. Di halaman Workspaces, temukan workspace dan klik DataStudio di kolom Actions. Halaman DataStudio akan muncul.

Prosedur

1. Langkah 1: Buat Node Sinkronisasi Batch
2. Langkah 2: Konfigurasikan Node Sinkronisasi Batch
   1. Buat koneksi jaringan antara grup sumber daya eksklusif untuk Data Integration dan sumber data.
   2. Konversi dari antarmuka pengguna tanpa kode (UI) ke editor kode dan terapkan template skrip.
   3. Kompilasi kode untuk mengonfigurasi node sinkronisasi batch, seperti mengonfigurasi pemetaan antara bidang sumber dan tujuan serta mengonfigurasi kebijakan kontrol saluran.
   4. Konfigurasikan properti penjadwalan untuk node sinkronisasi batch.
3. Langkah 3: Commit dan Terapkan Node Sinkronisasi Batch

Langkah 1: Buat node sinkronisasi batch

1. Buat alur kerja. Untuk informasi lebih lanjut, lihat Buat Alur Kerja.
2. Buat node sinkronisasi batch.
   Anda dapat menggunakan salah satu metode berikut untuk membuat node sinkronisasi batch:

   • Metode 1: Masuk ke Konsol DataWorks. Di panel navigasi kiri, klik Workspaces. Di halaman Workspaces, temukan workspace tempat Anda ingin membuat node sinkronisasi batch dan klik DataStudio di kolom Actions. Di panel Scheduled Workflow halaman DataStudio, temukan alur kerja yang telah dibuat dan klik namanya. Klik kanan Data Integration dan pilih Create Node > Batch Synchronization.
   • Metode 2: Masuk ke Konsol DataWorks. Di panel navigasi kiri, klik Workspaces. Di halaman Workspaces, temukan workspace tempat Anda ingin membuat node sinkronisasi batch dan klik DataStudio di kolom Actions. Di panel Scheduled Workflow halaman DataStudio, temukan alur kerja yang telah dibuat dan klik dua kali namanya. Di bagian Data Integration tab pengeditan alur kerja yang muncul, klik Batch Synchronization.
3. Di kotak dialog Create Node, konfigurasikan parameter untuk membuat node sinkronisasi batch.

Langkah 2: Konfigurasikan node sinkronisasi batch

1. Buat koneksi jaringan antara grup sumber daya eksklusif untuk Data Integration dan sumber data.
   Pilih sumber, tujuan, dan grup sumber daya eksklusif untuk Data Integration, lalu buat koneksi jaringan antara grup sumber daya dan sumber data.

   Catatan

   • Anda dapat menggunakan node sinkronisasi batch untuk menyinkronkan data dari tabel dalam database sharded ke tabel tunggal. Untuk informasi lebih lanjut, lihat Konfigurasikan Tugas Sinkronisasi Batch untuk Menyinkronkan Data dari Tabel dalam Database Sharded.
   • Jika koneksi jaringan antara grup sumber daya eksklusif untuk Data Integration dan sumber data tidak dapat dibuat, Anda dapat mengonfigurasi konektivitas jaringan sesuai petunjuk atau merujuk pada topik terkait. Untuk informasi lebih lanjut, lihat Solusi Konektivitas Jaringan.
2. Konversi dari UI tanpa kode ke editor kode.
   Klik ikon Switch to Script Mode di bilah alat atas.

   Jika tidak ada skrip yang dikonfigurasi, Anda dapat mengklik ikon di bilah alat atas untuk menerapkan template skrip.

3. Kompilasi kode di editor kode untuk mengonfigurasi node sinkronisasi batch.
   Gambar berikut menunjukkan pengaturan umum yang digunakan untuk mengonfigurasi node sinkronisasi batch di editor kode.

   Catatan

   • DataWorks menyediakan pengaturan default untuk parameter tipe dan versi. Anda tidak dapat mengubah pengaturan default.
   • Anda dapat mengabaikan pengaturan terkait prosesor dalam kode. Pengaturan tersebut tidak diperlukan.

   
   1. Konfigurasikan informasi dasar untuk Plugin Reader dan Writer serta konfigurasikan pemetaan antara bidang sumber dan tujuan.
      Parameter yang perlu dikonfigurasi untuk Plugin Reader dan Writer yang berbeda bervariasi. Untuk informasi tentang jenis sumber data, Plugin Reader, dan Plugin Writer yang didukung oleh sinkronisasi batch, lihat Jenis Sumber Data yang Didukung, Plugin Reader, dan Plugin Writer.

      Anda dapat melakukan operasi berikut dengan mengonfigurasi parameter terkait:

      • Operasi terkait sumber

        Operasi	Deskripsi
        Tentukan kondisi filter	DataWorks memungkinkan Anda menentukan kondisi filter yang digunakan untuk menerapkan sinkronisasi inkremental saat mengonfigurasi jenis Plugin Reader tertentu. Misalnya, saat mengonfigurasi MySQL Reader, Anda dapat menentukan kondisi filter semacam itu. Anda dapat menggunakan kondisi filter bersama dengan parameter penjadwalan untuk menerapkan sinkronisasi inkremental. Untuk informasi tentang cara mengonfigurasi node sinkronisasi data untuk menyinkronkan hanya data inkremental, lihat Konfigurasikan Node Sinkronisasi Batch untuk Menyinkronkan Hanya Data Inkremental. Catatan Dukungan Plugin Reader yang berbeda untuk sinkronisasi inkremental dan implementasi sinkronisasi inkremental bervariasi berdasarkan jenis Plugin Reader. Untuk informasi lebih lanjut, lihat topik terkait. Jika Anda tidak menentukan kondisi filter saat mengonfigurasi Plugin Reader yang mendukung parameter terkait sinkronisasi inkremental, data lengkap disinkronkan secara default. Saat mengonfigurasi properti penjadwalan untuk node sinkronisasi batch, Anda dapat memberikan nilai kepada variabel yang Anda tentukan dalam kondisi filter. Anda dapat mengonfigurasi parameter penjadwalan untuk node sinkronisasi batch untuk memungkinkan data lengkap atau inkremental di sumber ditulis ke partisi berbasis waktu di tabel tujuan. Untuk informasi lebih lanjut, lihat Format Parameter Penjadwalan yang Didukung. Sintaks untuk kondisi filter yang digunakan untuk menerapkan sinkronisasi inkremental hampir sama dengan sintaks yang didukung oleh database. Selama sinkronisasi data, node sinkronisasi batch menggunakan Pernyataan SQL lengkap yang diperoleh berdasarkan kondisi filter untuk mengekstraksi data dari sumber.
        Tentukan kunci shard yang digunakan untuk membagi data di database relasional	Kunci shard menentukan bidang berdasarkan mana data sumber dibagi. Setelah Anda menentukan kunci shard, data sumber dibagi dan didistribusikan ke beberapa shard. Dengan cara ini, node sinkronisasi batch dapat menjalankan thread paralel untuk membaca data secara bertahap. Catatan Kami merekomendasikan agar Anda menentukan nama kolom kunci utama tabel sumber sebagai kunci shard. Dengan cara ini, data dapat didistribusikan secara merata ke shard yang berbeda berdasarkan kolom kunci utama, bukan hanya intensif didistribusikan ke shard tertentu. Kunci shard dapat digunakan untuk membagi data hanya dari tipe data integer. Jika Anda menggunakan kunci shard untuk membagi data dari tipe data yang tidak didukung, node sinkronisasi batch mengabaikan kunci shard yang Anda tentukan dan menggunakan satu thread untuk membaca data. Jika tidak ada kunci shard yang ditentukan, node sinkronisasi data menggunakan satu thread untuk membaca data. Dukungan Plugin Reader untuk konfigurasi kunci shard bervariasi berdasarkan jenis Plugin Reader. Instruksi yang diberikan dalam topik ini hanya untuk referensi. Anda dapat merujuk ke topik untuk Plugin Reader untuk memeriksa apakah Plugin Reader mendukung konfigurasi kunci shard. Untuk informasi tentang jenis sumber data, Plugin Reader, dan Plugin Writer yang didukung oleh sinkronisasi batch, lihat Jenis Sumber Data yang Didukung, Plugin Reader, dan Plugin Writer.
        Tambahkan bidang ke tabel sumber dan tetapkan nilai ke bidang tersebut	Anda dapat menambahkan bidang ke tabel sumber dan menetapkan nilai ke bidang tersebut. Saat node sinkronisasi batch dijalankan, bidang yang ditambahkan disinkronkan ke tabel tujuan terkait. Bidang tersebut dapat berupa konstanta dan variabel yang diapit dalam tanda kutip tunggal ('), seperti '123' dan '${Nama Variabel}'. Jika Anda menambahkan variabel ke tabel sumber sebagai bidang, Anda dapat menetapkan nilai ke variabel saat mengonfigurasi properti penjadwalan untuk node sinkronisasi batch. Untuk informasi lebih lanjut tentang parameter penjadwalan, lihat Format Parameter Penjadwalan yang Didukung.
        Edit bidang dalam tabel sumber	Anda dapat menggunakan fungsi yang didukung oleh sumber untuk memproses bidang dalam tabel sumber. Misalnya, Anda dapat menggunakan fungsi Max(id) untuk menerapkan sinkronisasi data di baris dengan ID terbesar dalam tabel sumber. Catatan Fungsi tidak didukung jika Anda mengonfigurasi node sinkronisasi batch yang menggunakan MaxCompute Reader.

      • Operasi terkait tujuan

        Operasi	Deskripsi
        Konfigurasikan Pernyataan SQL yang ingin Anda jalankan sebelum dan setelah sinkronisasi data	DataWorks memungkinkan Anda menjalankan Pernyataan SQL sebelum dan setelah data ditulis ke jenis tujuan tertentu. Misalnya, saat mengonfigurasi node sinkronisasi batch yang menggunakan MySQL Writer, Anda dapat mengonfigurasi Pernyataan SQL truncate table tablename sebagai pernyataan yang akan dijalankan sebelum data ditulis ke tujuan. Pernyataan ini digunakan untuk menghapus data yang ada di tabel tertentu. Anda juga dapat mengonfigurasi Pernyataan SQL sebagai pernyataan yang akan dijalankan setelah data ditulis ke tujuan.
        Tentukan mode tulis yang digunakan saat terjadi konflik	Anda dapat menentukan mode tulis yang digunakan untuk menulis data ke tujuan saat terjadi konflik, seperti konflik path atau konflik kunci utama. Konfigurasi bervariasi berdasarkan atribut tujuan dan dukungan Plugin Writer. Untuk mengonfigurasi item ini, rujuk topik untuk Plugin Writer terkait.

   2. Konfigurasikan kebijakan kontrol saluran.
      Anda dapat mengonfigurasi kebijakan kontrol saluran di bidang setting, seperti jumlah maksimum thread paralel yang dapat digunakan untuk sinkronisasi data, laju transmisi maksimum, dan pengaturan untuk catatan data kotor.

      Parameter	Deskripsi
      executeMode	Menentukan apakah akan mengaktifkan mode eksekusi terdistribusi untuk node sinkronisasi batch. Nilai valid: distribute: Mengaktifkan mode eksekusi terdistribusi. Jika Anda mengaktifkan mode eksekusi terdistribusi untuk node sinkronisasi batch, sistem membagi node menjadi irisan dan mendistribusikannya ke beberapa instance Elastic Compute Service (ECS) untuk dijalankan secara paralel. Dalam hal ini, semakin banyak instance ECS, semakin tinggi kecepatan sinkronisasi data. null: Menonaktifkan mode eksekusi terdistribusi. Jika Anda tidak mengaktifkan mode eksekusi terdistribusi untuk node sinkronisasi batch, jumlah maksimum thread paralel yang ditentukan hanya digunakan untuk satu instance ECS untuk menjalankan node. Penting Jika grup sumber daya eksklusif Anda hanya berisi satu instance ECS, kami merekomendasikan agar Anda tidak menjalankan node sinkronisasi batch dalam mode eksekusi terdistribusi. Jika satu instance ECS dapat memenuhi kebutuhan bisnis Anda untuk kecepatan transmisi data, Anda tidak perlu mengaktifkan mode eksekusi terdistribusi. Ini dapat menyederhanakan mode eksekusi node Anda. Mode eksekusi terdistribusi hanya dapat diaktifkan jika jumlah maksimum thread paralel yang Anda tentukan lebih besar dari atau sama dengan 8. Apakah node sinkronisasi batch mendukung mode eksekusi terdistribusi bervariasi berdasarkan jenis sumber data. Untuk informasi lebih lanjut, lihat topik untuk Plugin Reader dan Plugin Writer.
      concurrent	Jumlah maksimum thread paralel yang digunakan node sinkronisasi batch untuk membaca data dari sumber atau menulis data ke tujuan. Catatan Jumlah aktual thread paralel yang digunakan selama sinkronisasi data mungkin kurang dari atau sama dengan ambang batas yang ditentukan karena spesifikasi grup sumber daya eksklusif untuk Data Integration. Anda dikenakan biaya untuk grup sumber daya eksklusif untuk Data Integration berdasarkan jumlah thread paralel yang digunakan. Untuk informasi lebih lanjut, lihat Metrik performa.
      throttle	Menentukan apakah akan mengaktifkan throttling. true: Mengaktifkan throttling. Jika Anda mengaktifkan throttling, Anda dapat menentukan laju transmisi maksimum untuk mencegah beban baca yang berat pada sumber. Nilai minimum parameter ini adalah 1 MB/s. Catatan Jika Anda mengatur parameter throttle ke true, Anda juga harus mengonfigurasi parameter mbps. Parameter mbps menentukan laju transmisi maksimum yang diizinkan. false: Menonaktifkan throttling. Jika Anda tidak mengaktifkan throttling, data ditransmisikan pada laju transmisi maksimum yang diizinkan oleh perangkat keras berdasarkan jumlah maksimum thread paralel yang ditentukan. Catatan Bandwidth adalah metrik yang disediakan oleh Data Integration dan tidak mewakili lalu lintas aktual antarmuka jaringan elastis (ENI). Dalam kebanyakan kasus, lalu lintas ENI adalah satu hingga dua kali lipat dari lalu lintas saluran. Lalu lintas ENI aktual tergantung pada serialisasi sistem penyimpanan data.
      errorLimit	Jumlah maksimum catatan data kotor yang diizinkan. Penting Jika sejumlah besar data kotor dihasilkan selama sinkronisasi data, kecepatan sinkronisasi data keseluruhan terpengaruh. Jika parameter ini tidak dikonfigurasi, catatan data kotor diizinkan selama sinkronisasi data, dan node sinkronisasi batch dapat terus berjalan jika catatan data kotor dihasilkan. Jika Anda mengatur parameter ini ke 0, tidak ada catatan data kotor yang diizinkan. Jika catatan data kotor dihasilkan selama sinkronisasi data, node sinkronisasi batch gagal. Jika Anda menentukan nilai yang lebih besar dari 0 untuk parameter ini, situasi berikut terjadi: Jika jumlah catatan data kotor yang dihasilkan selama sinkronisasi data kurang dari atau sama dengan nilai yang Anda tentukan, catatan data kotor diabaikan dan tidak ditulis ke tujuan, dan node sinkronisasi batch terus berjalan. Jika jumlah catatan data kotor yang dihasilkan selama sinkronisasi data lebih besar dari nilai yang Anda tentukan, node sinkronisasi batch gagal. Catatan Data kotor menunjukkan data yang tidak bermakna bagi bisnis, tidak sesuai dengan tipe data yang ditentukan, atau menyebabkan pengecualian selama sinkronisasi data. Jika pengecualian terjadi saat satu catatan data ditulis ke tujuan, catatan data tersebut dianggap sebagai data kotor. Catatan data yang gagal ditulis ke tujuan dianggap sebagai data kotor. Sebagai contoh, ketika node sinkronisasi batch mencoba menulis data tipe VARCHAR di sumber ke bidang tipe INT di tujuan, terjadi kesalahan konversi data, dan data gagal ditulis ke tujuan. Dalam hal ini, data tersebut adalah data kotor. Saat Anda mengonfigurasi node sinkronisasi batch, Anda dapat mengontrol apakah data kotor diizinkan. Anda juga dapat menentukan jumlah maksimum catatan data kotor yang diizinkan selama sinkronisasi data. Jika jumlah data kotor yang dihasilkan melebihi batas atas yang Anda tentukan, node sinkronisasi gagal.

      Catatan Selain konfigurasi sebelumnya, kecepatan sinkronisasi data keseluruhan dari node sinkronisasi batch juga dipengaruhi oleh faktor-faktor seperti performa sumber dan lingkungan jaringan untuk sinkronisasi data. Untuk informasi tentang kecepatan sinkronisasi data dan penyetelan performa node sinkronisasi batch, lihat Percepat atau Perlambat Proses Sinkronisasi Batch.
4. Klik Next Step untuk mengonfigurasi properti penjadwalan untuk node sinkronisasi batch.
   Jika Anda ingin DataWorks menjadwalkan node sinkronisasi batch Anda secara berkala, Anda harus mengonfigurasi properti penjadwalan untuk node tersebut. Sublangkah ini menjelaskan cara mengonfigurasi properti penjadwalan untuk node sinkronisasi batch. Untuk informasi tentang cara menggunakan parameter penjadwalan, lihat Deskripsi untuk Menggunakan Parameter Penjadwalan dalam Sinkronisasi Data.

   • Konfigurasikan Parameter Penjadwalan: Jika Anda mendefinisikan variabel dalam konfigurasi sebelumnya, parameter penjadwalan diberikan kepada variabel sebagai nilai.
   • Konfigurasikan Properti Waktu: Properti waktu mendefinisikan mode di mana node sinkronisasi batch dijadwalkan di lingkungan produksi. Dalam bagian di mana Anda mengonfigurasi properti waktu untuk node sinkronisasi batch, Anda dapat mengonfigurasi atribut seperti mode pembuatan instance, tipe penjadwalan, dan siklus penjadwalan untuk node.
   • Konfigurasikan Properti Sumber Daya: Properti sumber daya mendefinisikan grup sumber daya eksklusif untuk penjadwalan yang digunakan untuk menerbitkan node sinkronisasi batch ke grup sumber daya eksklusif terkait untuk Data Integration. Anda dapat memilih grup sumber daya eksklusif untuk penjadwalan yang ingin Anda gunakan.
     Catatan DataWorks menggunakan grup sumber daya untuk penjadwalan untuk menerbitkan node sinkronisasi batch di Data Integration ke grup sumber daya untuk Data Integration dan menggunakan grup sumber daya untuk Data Integration untuk menjalankan node tersebut. Anda dikenakan biaya untuk menggunakan grup sumber daya untuk penjadwalan dalam menjadwalkan node sinkronisasi batch. Untuk informasi lebih lanjut tentang mekanisme penerbitan node, lihat Ikhtisar.

Langkah 3: Commit dan terapkan node sinkronisasi batch

Jika Anda ingin DataWorks secara berkala menjalankan node sinkronisasi batch, Anda harus menerapkan node tersebut ke lingkungan produksi. Untuk informasi lebih lanjut tentang cara menerapkan node, lihat Terapkan Node.