DataWorks：Gunakan tugas sinkronisasi batch untuk menulis data ke sumber data MongoDB

Buat tugas sinkronisasi batch di halaman DataStudio pada konsol DataWorks dan konfigurasikan item-item seperti sumber dan tujuan untuk tugas sinkronisasi batch. Bagian ini menjelaskan beberapa item yang perlu Anda konfigurasikan. Untuk item lainnya, gunakan nilai default. Untuk informasi lebih lanjut, lihat Konfigurasikan tugas sinkronisasi batch menggunakan UI tanpa kode.

1. Buat koneksi jaringan antara sumber data dan grup sumber daya eksklusif untuk Data Integration.

   Pilih sumber data MongoDB yang ditambahkan pada Langkah 1, sumber data MaxCompute yang telah ditambahkan, serta grup sumber daya eksklusif untuk Data Integration. Kemudian, uji konektivitas jaringan antara sumber data dan grup sumber daya tersebut.

2. Pilih sumber data.

   Pilih tabel MaxCompute yang dipartisi dan koleksi data MongoDB yang disiapkan selama langkah persiapan data. Tabel berikut menjelaskan cara mengonfigurasi parameter utama untuk tugas sinkronisasi batch.

   Parameter	Deskripsi
   WriteMode(overwrite or not)	Menentukan apakah akan menimpa data yang ada di koleksi data MongoDB. Jika Anda mengatur parameter ini ke Ya, Anda harus mengonfigurasi parameter ReplaceKey. WriteMode(menimpa atau tidak) Jika Anda mengatur nilainya ke No, data dimasukkan ke dalam koleksi data MongoDB sebagai entri data baru. Nilai Tidak adalah nilai default. Jika Anda mengatur nilainya ke Yes, Anda harus mengonfigurasi parameter ReplaceKey. Pengaturan ini memastikan bahwa entri data yang ada ditimpa oleh entri data baru yang memiliki nilai kunci utama yang sama. ReplaceKey: kunci utama untuk setiap catatan data. Data ditimpa berdasarkan kunci utama. Anda hanya dapat menentukan satu kolom kunci utama. Dalam kebanyakan kasus, kunci utama dalam koleksi data MongoDB digunakan. Catatan Jika Anda mengatur parameter WriteMode(menimpa atau tidak) ke Yes, dan Anda menentukan bidang selain bidang _id sebagai kunci utama, kesalahan yang mirip dengan kesalahan berikut mungkin terjadi saat tugas dijalankan: After applying the update, the (immutable) field '_id' was found to have been altered to _id: "2". Alasannya adalah nilai bidang _id tidak sesuai dengan nilai parameter replaceKey untuk sebagian data yang ditulis ke koleksi data MongoDB tujuan. Untuk informasi lebih lanjut, lihat Kesalahan: After applying the update, the (immutable) field '_id' was found to have been altered to _id: "2".
   Statement Run Before Writing	Pernyataan SQL yang ingin Anda jalankan sebelum sinkronisasi data. Anda dapat mengonfigurasi pernyataan SQL dalam format JSON, dan mengonfigurasi properti type dan json. type: wajib. Nilai valid: remove dan drop. Nilai-nilai tersebut harus dalam huruf kecil. json: Jika type diatur ke remove, properti ini wajib. Anda harus mengonfigurasi properti berdasarkan sintaks operasi query standar MongoDB. Untuk informasi lebih lanjut, lihat Query Documents. Jika type diatur ke drop, properti ini tidak diperlukan.

3. Konfigurasikan pemetaan bidang.

   Jika sumber data MongoDB ditambahkan, metode mapping fields in a row of the source to the fields in the same row of the destination digunakan secara default. Anda juga dapat mengklik ikon untuk mengedit bidang di tabel sumber secara manual. Contoh kode berikut menunjukkan cara mengedit bidang di tabel sumber:

   {"name":"id","type":"string"}
   {"name":"col_string","type":"string"}
   {"name":"col_int","type":"long"}
   {"name":"col_bigint","type":"long"}
   {"name":"col_decimal","type":"double"}
   {"name":"col_date","type":"date"}
   {"name":"col_boolean","type":"bool"}
   {"name":"col_array","type":"array","splitter":","}

   Setelah Anda mengedit bidang, pemetaan baru antara bidang sumber dan bidang tujuan akan ditampilkan di tab konfigurasi tugas.

Setelah menyelesaikan konfigurasi sebelumnya, Anda dapat menjalankan tugas sinkronisasi batch. Setelah proses selesai, Anda dapat melihat data yang telah disinkronkan ke koleksi data ApsaraDB for MongoDB.

Jika Anda menetapkan parameter type sebagai ARRAY, Anda perlu mengonfigurasi properti splitter. Dengan demikian, data dapat ditulis ke koleksi data MongoDB dalam format array. Contoh:

• Data sumber adalah string: a,b,c.

• Anda menetapkan parameter type sebagai ARRAY dan properti splitter sebagai , untuk tugas sinkronisasi batch.

• Data yang ditulis ke tujuan adalah ["a","b","c"] saat tugas dijalankan.