:Konfigurasikan tugas sinkronisasi batch mode skrip 2.0

Buka halaman DataStudio

1. Masuk ke DataWorks console.
2. Di panel navigasi sebelah kiri, klik Workspace list.
3. Pilih wilayah ruang kerja Anda, temukan ruang kerja tersebut, lalu klik Data Studio di kolom Actions.

Prosedur

1. Langkah 1: Buat node sinkronisasi batch
2. Langkah 2: Konfigurasikan tugas sinkronisasi batch
   1. Konfigurasikan tautan jaringan sinkronisasi
   2. Beralih ke mode skrip dan impor templat
   3. Edit skrip untuk mengonfigurasi sumber data, tujuan, batas laju transmisi, dan aturan penanganan dirty data
   4. Konfigurasikan properti penjadwalan
3. Langkah 3: Commit dan publikasikan tugas

Langkah 1: Buat node sinkronisasi batch

1. Buat workflow. Untuk informasi lebih lanjut, lihat Buat workflow.
2. Buat node sinkronisasi batch.
   Buat node sinkronisasi batch dengan salah satu dari dua cara berikut:

   • Metode 1: Perluas workflow, klik kanan Data integration, lalu pilih Create Node > Batch Synchronization.
   • Metode 2: Klik ganda nama workflow. Dari folder Data integration, seret node Batch Synchronization ke kanvas editor workflow di sebelah kanan.
3. Di kotak dialog yang muncul, konfigurasikan parameter untuk node sinkronisasi batch.

Langkah 2: Konfigurasikan tugas sinkronisasi batch

1. Konfigurasikan tautan jaringan sinkronisasi.
   Pilih sumber data dan tujuan data, serta resource group untuk tugas tersebut. Kemudian, uji konektivitasnya.

   Catatan

   • Anda dapat menyinkronkan data dari database dan tabel ter-shard di sumber ke satu tabel tunggal di tujuan. Untuk informasi lebih lanjut, lihat Sinkronisasi data dari database dan tabel ter-shard.
   • Jika koneksi jaringan gagal antara sumber data dan resource group, ikuti petunjuk di layar atau dokumentasi untuk mengonfigurasi konektivitas jaringan. Untuk informasi lebih lanjut, lihat Solusi konektivitas jaringan.
2. Beralih ke mode skrip.
   Klik ikon Switch to script di bilah alat.

   Jika belum ada skrip yang dikonfigurasi, Anda dapat mengklik ikon di bilah alat dan mengikuti prompt untuk mengimpor templat skrip.

3. Edit skrip untuk mengonfigurasi tugas sinkronisasi.
   Kode berikut menunjukkan konfigurasi umum untuk skrip dalam mode skrip:

   Catatan

   • Field type dan version memiliki nilai default dan tidak dapat diubah.
   • Anda dapat mengabaikan konfigurasi Processor dalam skrip. Tidak diperlukan konfigurasi.

   {
     "type": "job",
     "version": "2.0",
     "steps": [
       {
         "stepType": "plugin_name",
         "parameter": {...},
         "name": "Reader",
         "category": "reader"
       },
       {
         "stepType": "plugin_name",
         "parameter": {...},
         "name": "Writer",
         "category": "writer"
       },
       {
         "name": "Processor",
         "stepType": null,
         "category": "processor",
         "copies": 1,
         "parameter": {...}
       }
     ],
     "setting": {
       "executeMode": null,
       "errorLimit": {
         "record": ""
       },
       "speed": {
         "concurrent": 2,
         "throttle": false
       }
     },
     "order": {
       "hops": [
         {
           "from": "Reader",
           "to": "Writer"
         }
       ]
     }
   }

   1. Konfigurasikan informasi dasar dan pemetaan bidang untuk Reader dan Writer.
      Mengonfigurasi parameter ini memungkinkan Anda melakukan operasi berikut. Untuk detailnya, lihat dokumentasi setiap plugin: Sumber data yang didukung dan plugin Reader serta Writer.

      • Reader

        Actions	Description
        Konfigurasikan cakupan sinkronisasi	Beberapa plugin mendukung parameter filter untuk melakukan sinkronisasi inkremental. Misalnya, saat Anda menggunakan plugin MySQL Reader untuk menyinkronkan data MySQL, Anda dapat menggunakan parameter where bersama dengan parameter penjadwalan DataWorks untuk menerapkan sinkronisasi inkremental. Untuk informasi lebih lanjut, lihat Skenario: Konfigurasikan tugas sinkronisasi batch inkremental. Catatan Dukungan sinkronisasi inkremental oleh plugin dan cara penerapannya bervariasi. Untuk detailnya, lihat dokumentasi plugin spesifik. Jika Anda menggunakan plugin yang mendukung sinkronisasi inkremental tetapi tidak menentukan kondisi filter data, sinkronisasi data penuh akan dilakukan secara default. Saat mengonfigurasi properti penjadwalan, Anda dapat memberikan nilai ke variabel yang didefinisikan dalam konfigurasi filter data dan tabel tujuan. Hal ini memungkinkan Anda melakukan operasi seperti menulis data inkremental atau penuh ke partisi waktu yang sesuai di tabel tujuan. Untuk informasi lebih lanjut tentang parameter penjadwalan, lihat Format parameter penjadwalan yang didukung. Sintaksis kondisi filter sinkronisasi inkremental hampir identik dengan sintaksis database. Selama sinkronisasi, tugas sinkronisasi batch menyusun pernyataan SQL lengkap untuk mengekstraksi data dari sumber data.
        Konfigurasikan kunci shard untuk database relasional	Menentukan bidang dalam data sumber yang digunakan untuk sharding. Tugas kemudian dibagi menjadi beberapa subtugas berdasarkan bidang ini untuk membaca data secara paralel. Catatan Kami menyarankan Anda menggunakan primary key tabel sebagai nilai splitPk. Primary key biasanya memiliki distribusi data yang merata, yang membantu mencegah hotspot data di shard. Saat ini, splitPk hanya mendukung sharding berbasis integer. Tipe lain seperti string, float, atau tanggal tidak didukung. Jika Anda menentukan kolom dengan tipe yang tidak didukung, parameter splitPk akan diabaikan, dan tugas menyinkronkan data menggunakan satu saluran saja. Jika Anda tidak menentukan splitPk atau nilainya kosong, sinkronisasi data dilakukan melalui satu saluran. Tidak semua plugin mendukung penentuan kunci shard untuk mengonfigurasi logika sharding tugas. Informasi yang diberikan merupakan contoh. Untuk detailnya, lihat dokumentasi plugin spesifik. Untuk informasi lebih lanjut, lihat Sumber data yang didukung dan plugin Reader serta Writer.
        Tetapkan nilai ke bidang tujuan	Anda dapat menambahkan kolom ke output yang diisi dengan nilai konstan atau variabel, seperti '123' atau '${variable_name}'. Anda dapat memberikan nilai ke variabel yang Anda definisikan di sini saat mengonfigurasi properti penjadwalan pada langkah berikutnya. Untuk informasi lebih lanjut tentang parameter penjadwalan, lihat Format parameter penjadwalan yang didukung.
        Edit bidang tabel sumber	Anda dapat menggunakan fungsi yang didukung oleh database sumber untuk memproses bidang. Misalnya, gunakan Max(id) untuk menyinkronkan hanya catatan dengan nilai ID maksimum. Catatan MaxCompute Reader tidak mendukung fungsi.

      • Writer

        Actions	Description
        Konfigurasikan pernyataan SQL sebelum dan sesudah sinkronisasi	Beberapa sumber data memungkinkan Anda mengeksekusi pernyataan SQL di tujuan sebelum dan sesudah menulis data. Contoh: MySQL Writer mendukung konfigurasi preSql dan postSql, yang memungkinkan Anda mengeksekusi perintah MySQL sebelum atau sesudah data ditulis ke MySQL. Misalnya, di parameter Pre-SQL Statement (preSql), Anda dapat menentukan perintah truncate table tablename untuk mengosongkan tabel dari data lama sebelum tugas sinkronisasi dimulai.
        Konfigurasikan mode penulisan untuk konflik	Tentukan cara menangani konflik, seperti konflik path atau primary key, saat menulis data ke tujuan. Opsi yang tersedia bergantung pada sumber data tujuan dan plugin Writer. Untuk detail konfigurasi, lihat dokumentasi plugin Writer spesifik.

   2. Kontrol saluran.
      Anda dapat mengonfigurasi pengaturan kinerja di bagian setting, seperti konkurensi, laju transmisi, dan penanganan dirty data.

      Parameter	Description
      executeMode (kemampuan pemrosesan terdistribusi)	Menentukan apakah tugas berjalan dalam mode terdistribusi. distribute: Mengaktifkan mode terdistribusi. Dalam mode ini, tugas dibagi dan didistribusikan ke beberapa node eksekusi untuk berjalan secara paralel. Hal ini memungkinkan kecepatan sinkronisasi meningkat secara horizontal seiring ukuran kluster, mengatasi bottleneck kinerja node tunggal. null: Menonaktifkan mode terdistribusi. Konkurensi yang dikonfigurasi dibatasi pada thread di satu node, dan tugas tidak dapat memanfaatkan daya komputasi beberapa mesin. Penting Jika exclusive resource group untuk Data Integration Anda hanya memiliki satu mesin, jangan gunakan mode terdistribusi. Jika satu mesin sudah memenuhi kebutuhan kinerja Anda, kami menyarankan menggunakan mode node tunggal untuk menyederhanakan eksekusi tugas. Mode terdistribusi hanya dapat diaktifkan jika konkurensi diatur ke 8 atau lebih. Dukungan mode terdistribusi bervariasi tergantung sumber data. Untuk detailnya, lihat dokumentasi plugin spesifik.
      concurrent (konkurensi maksimum yang diharapkan)	Menentukan jumlah maksimum thread konkuren untuk membaca dari sumber dan menulis ke tujuan. Catatan Karena faktor seperti spesifikasi resource, konkurensi aktual selama eksekusi mungkin kurang dari atau sama dengan nilai yang dikonfigurasi. Anda ditagih berdasarkan konkurensi aktual yang digunakan. Untuk informasi lebih lanjut, lihat Metrik kinerja.
      throttle (laju transmisi)	Mengontrol laju transmisi. true: Mengaktifkan pembatasan kecepatan. Ini melindungi database sumber dari beban berlebih dengan membatasi kecepatan ekstraksi data. Laju minimum adalah 1 MB/s. Catatan Jika Anda mengatur throttle ke true, Anda juga harus mengatur parameter mbps untuk menentukan laju transmisi maksimum. false: Menonaktifkan pembatasan kecepatan. Tugas menggunakan bandwidth maksimum yang tersedia berdasarkan lingkungan perangkat keras dan konkurensi yang dikonfigurasi. Catatan Laju transmisi adalah metrik internal Data Integration dan tidak merepresentasikan trafik antarmuka jaringan (NIC) aktual. Biasanya, trafik NIC adalah satu hingga dua kali trafik saluran, tergantung serialisasi data sistem penyimpanan.
      errorLimit (kontrol catatan error)	Mengatur toleransi terhadap dirty data. Penting Jumlah dirty data yang berlebihan dapat menurunkan kecepatan sinkronisasi secara keseluruhan. Jika parameter ini tidak dikonfigurasi, dirty data diizinkan secara default, dan tugas tetap berjalan meskipun menghasilkan dirty data. Jika parameter ini diatur ke 0, tidak ada dirty data yang diizinkan. Tugas gagal jika ada dirty data yang dihasilkan. Jika Anda mengizinkan dirty data dan menetapkan ambang batas: Jika jumlah catatan dirty data berada di bawah ambang batas, catatan tersebut diabaikan (tidak ditulis ke tujuan), dan tugas tetap berjalan normal. Jika jumlah catatan dirty data melebihi ambang batas, tugas gagal. Catatan Apa itu dirty data? Dirty data adalah data yang tidak berarti bagi bisnis Anda, memiliki format tidak valid, atau menyebabkan error selama sinkronisasi. Setiap catatan yang gagal ditulis ke sumber data tujuan dianggap sebagai dirty data. Contohnya, jika Anda mencoba menulis data VARCHAR dari sumber ke kolom INT di tujuan, terjadi error konversi dan catatan tersebut tidak ditulis. Catatan ini dianggap sebagai dirty data. Anda dapat mengonfigurasi apakah dirty data diizinkan dan menetapkan batas jumlah catatan dirty data. Jika jumlah catatan dirty melebihi batas yang ditentukan, tugas gagal.

      Catatan Selain pengaturan ini, kecepatan sinkronisasi keseluruhan juga dipengaruhi oleh faktor seperti kinerja sumber data dan lingkungan jaringan. Untuk informasi lebih lanjut tentang laju transmisi dan penyetelan kinerja, lihat Percepat atau batasi kecepatan tugas sinkronisasi batch.
4. Klik Next untuk mengonfigurasi properti penjadwalan.
   Untuk menjalankan tugas sinkronisasi batch secara berkala, Anda harus mengonfigurasi properti penjadwalannya. Untuk informasi lebih lanjut tentang parameter penjadwalan, lihat Gunakan parameter penjadwalan di Data Integration.

   • Konfigurasikan properti penjadwalan node: Tetapkan parameter penjadwalan ke variabel yang Anda definisikan pada langkah sebelumnya. Anda dapat menetapkan konstanta maupun variabel.
   • Konfigurasikan properti waktu: Tentukan cara tugas dijadwalkan secara berkala di lingkungan produksi. Anda dapat mengonfigurasi properti seperti mode pembuatan instans, tipe penjadwalan, dan siklus penjadwalan.
   • Konfigurasikan properti resource: Tentukan resource group penjadwalan yang digunakan untuk mengirimkan tugas ke resource group eksekusi Data Integration. Anda dapat memilih resource group untuk menjalankan tugas di bagian ini.
     Catatan Tugas batch Data Integration dikirimkan oleh resource group penjadwalan ke resource group eksekusi Data Integration yang sesuai. Proses ini menimbulkan biaya terkait penjadwalan. Untuk informasi lebih lanjut tentang mekanisme pengiriman, lihat Ikhtisar resource group DataWorks.

Langkah 3: Commit dan publikasikan tugas

Jika tugas perlu dijalankan sesuai jadwal berkala, Anda harus menerapkannya ke lingkungan produksi. Untuk informasi lebih lanjut tentang penerapan tugas, lihat Deploy tasks.