Apa yang ditawarkan oleh sinkronisasi batch - DataWorks - Alibaba Cloud Documentation Center

Sinkronisasi batch mentransfer data penuh atau inkremental antara database sumber dan tujuan menggunakan plugin Reader dan Writer. Konfigurasikan sumber data dan parameter penjadwalan untuk mengotomatiskan proses tersebut. Topik ini menjelaskan kemampuan sinkronisasi batch.

Kemampuan inti

Sinkronisasi offline menyediakan kemampuan berikut:

Capability	Description
Data synchronization between disparate data sources	Data Integration mendukung lebih dari 50 jenis sumber data, termasuk database relasional, penyimpanan tidak terstruktur, penyimpanan big data, dan antrian pesan. Anda dapat menentukan sumber dan tujuan data serta menggunakan plugin Reader dan Writer yang disediakan oleh Data Integration untuk mentransfer data antara sumber terstruktur atau semi-terstruktur apa pun. Untuk informasi selengkapnya, lihat Sumber data dan solusi sinkronisasi yang didukung.
Data synchronization in complex network environments	Sinkronisasi batch mendukung ApsaraDB, pusat data on-premises, database yang dikelola sendiri di ECS, dan database di luar Alibaba Cloud. Sebelum konfigurasi, pastikan network connectivity antara kelompok sumber daya dan titik akhir sumber maupun tujuan. Untuk informasi selengkapnya tentang konfigurasi, lihat Solusi konektivitas jaringan.
Sync scenarios	1. Mode sinkronisasi Periodic full synchronization: Secara berkala menimpa tabel tujuan dengan seluruh data sumber. Cocok untuk skenario pembaruan penuh (full-refresh). Periodic incremental synchronization: Menyinkronkan hanya data baru atau yang berubah setiap hari atau jam. Menggunakan scheduling parameters bawaan seperti `${bizdate}` dengan data filter kondisi `WHERE` untuk memastikan hanya data tertentu yang ditarik dan ditulis ke partisi waktu yang sesuai. Untuk informasi selengkapnya, lihat Konfigurasi parameter penjadwalan untuk sinkronisasi inkremental. Historical data backfill: Saat Anda perlu mengisi ulang volume besar data historis sekaligus, gunakan fitur Backfill Data di Operation Center untuk menjalankan tugas sinkronisasi secara batch dan mengarsipkan data historis secara efisien. Catatan Untuk informasi selengkapnya tentang parameter penjadwalan, lihat Skema penggunaan parameter penjadwalan dalam Data Integration dan Parameter penjadwalan. 2. Struktur sumber yang didukung Single table to single table: Mode sinkronisasi paling dasar. Menyinkronkan data dari satu tabel sumber ke satu tabel tujuan. Sharded tables to single table: Secara otomatis menggabungkan data dari beberapa tabel fisik (seperti tabel pesanan `order_01`, `order_02`...) dan menulis data tersebut ke satu tabel tujuan. Sumber data yang didukung mencakup MySQL, SQL Server, Oracle, PostgreSQL, PolarDB, dan AnalyticDB. Untuk informasi selengkapnya, lihat Sinkronisasi tabel sharding ke satu tabel.
Configuration methods	Anda dapat mengonfigurasi tugas sinkronisasi batch di Data Integration dengan metode berikut. Codeless UI: Konfigurasikan tugas langkah demi langkah melalui antarmuka visual terpandu. Mode ini mudah dipelajari dan digunakan tetapi tidak mendukung beberapa fitur lanjutan. Code editor: Tentukan logika sinkronisasi secara langsung menggunakan skrip JSON. Mode ini mendukung konfigurasi yang lebih kompleks dan memungkinkan kontrol detail halus. OpenAPI: Kelola siklus hidup penuh tugas melalui OpenAPI, mendukung operasi terprogram. DI Agent: Untuk membuat dan mengelola tugas sinkronisasi batch tabel tunggal secara cepat melalui percakapan berbasis AI, gunakan Data Agent alih-alih konfigurasi formulir manual. Jelaskan kebutuhan sinkronisasi Anda dalam satu kalimat, dan Agent secara otomatis mengidentifikasi sumber data, memetakan bidang, menetapkan kelompok sumber daya, serta mengonfigurasi kebijakan penjadwalan, sehingga mengurangi waktu pembuatan satu tugas dari 15–30 menit menjadi kurang dari 5 menit. Catatan Untuk informasi selengkapnya tentang kemampuan konfigurasi tugas, lihat Ikhtisar fitur.
O&M for batch synchronization tasks	Alerting: Memantau status berjalan tugas sinkronisasi batch, termasuk skenario seperti tugas tidak lengkap, gagal, dan selesai. Mendukung berbagai metode notifikasi termasuk email, SMS, panggilan telepon, bot grup DingTalk, dan webhook untuk memberi tahu penerima notifikasi. Data Quality Overview: Setelah tugas diajukan dan dideploy, Anda dapat mengonfigurasi aturan pemantauan kualitas data untuk tabel tujuan di Operation Center. Saat ini, hanya beberapa jenis database yang mendukung aturan pemantauan kualitas data. Data source environment isolation: Satu nama sumber data dikaitkan dengan dua konfigurasi independen untuk lingkungan pengembangan dan produksi. Selama eksekusi tugas, sumber data secara otomatis dialihkan berdasarkan lingkungan—debugging pengembangan menggunakan lingkungan pengembangan, sedangkan penjadwalan produksi menggunakan lingkungan produksi, sehingga mencegah risiko operasi pengujian yang tidak sengaja memengaruhi data produksi.

Ikhtisar fitur

Feature	Description
Full or incremental data synchronization	Tugas sinkronisasi batch mendukung sinkronisasi data penuh atau inkremental dengan mengonfigurasi Data Filtering dikombinasikan dengan scheduling parameters. Plugin yang berbeda memiliki konfigurasi berbeda untuk sinkronisasi inkremental. Untuk informasi selengkapnya tentang sinkronisasi data inkremental, lihat Konfigurasi sinkronisasi data inkremental.
Field mapping	Dengan menentukan aturan pemetaan bidang, data sumber ditulis ke bidang tujuan yang sesuai berdasarkan hubungan yang ditentukan. Pastikan tipe bidang di kedua sisi kompatibel. Tersedia beberapa metode pemetaan bidang: Wizard mode mendukung pemetaan nama sama, pemetaan baris sama, dan hubungan bidang kustom. Data pada bidang yang tidak dipetakan secara otomatis diabaikan. Pastikan bidang tujuan yang sesuai telah dikonfigurasi dengan nilai default atau mengizinkan nilai null untuk menghindari kegagalan penulisan. Script mode memetakan bidang secara ketat berdasarkan urutan konfigurasi kolom. Jumlah bidang di sisi reader harus persis sama dengan jumlah di sisi writer. Jika tidak, tugas akan gagal saat waktu proses. Tugas sinkronisasi juga mendukung penugasan nilai dinamis untuk bidang tujuan, termasuk konstanta, parameter penjadwalan, dan variabel bawaan seperti `${bizdate}`. Parameter terkait diberi nilai akhir selama fase penjadwalan.
Job rate limit	Fitur task concurrency control membatasi jumlah maksimum thread konkuren untuk membaca dari dan menulis ke database. Fitur sync speed mengontrol trafik untuk mencegah tekanan berlebihan pada sumber atau tujuan akibat kecepatan sinkronisasi yang tinggi. Jika pembatasan kecepatan tidak diaktifkan, performa transfer maksimum yang tersedia di lingkungan perangkat keras saat ini akan digunakan.
Distributed task execution	Sumber data yang mendukung eksekusi terdistribusi dapat menggunakan sharding tugas untuk mendistribusikan tugas sinkronisasi ke beberapa node guna eksekusi konkuren. Hal ini memungkinkan kecepatan sinkronisasi meningkat secara linear seiring ukuran kluster, sehingga mengatasi hambatan performa single-node. Mode ini sangat cocok untuk skenario sinkronisasi throughput tinggi dan latensi rendah serta memanfaatkan sumber daya kluster idle secara efisien untuk meningkatkan pemanfaatan perangkat keras secara signifikan.
Dirty data policy	Dirty data mengacu pada catatan data yang gagal ditulis ke tujuan karena pengecualian seperti konflik tipe atau pelanggaran batasan. Sinkronisasi batch mendukung kebijakan dirty data yang menentukan jumlah catatan dirty data yang dapat diterima dan dampaknya terhadap tugas. Abaikan dirty data: Dirty data secara otomatis difilter. Hanya data valid yang ditulis, dan tugas terus berjalan. Toleransi terbatas terhadap dirty data: Tetapkan ambang batas N. Jika jumlah catatan dirty data ≤ N, data abnormal dibuang dan tugas dilanjutkan. Jika jumlah melebihi N, tugas gagal dan berhenti. Tidak toleransi terhadap dirty data: Tugas langsung gagal dan berhenti saat menemui dirty data.
Time zone	Jika diperlukan sinkronisasi lintas zona waktu antara sumber dan tujuan, Anda dapat mengonfigurasi zona waktu sumber untuk melakukan konversi zona waktu.
Intelligent data processing	DataWorks mendukung integrasi kemampuan pemrosesan data selama sinkronisasi data untuk mentransformasi dan memproses data sumber sebelum menulisnya ke tujuan: String replacement: Fitur penggantian string bawaan dalam tugas sinkronisasi batch memungkinkan Anda melakukan transformasi data ringan secara langsung selama transfer data tanpa perlu menyimpan data terlebih dahulu atau langkah ETL tambahan. AI-assisted processing: Mendukung integrasi model bahasa besar AI selama sinkronisasi data untuk melakukan analisis semantik, analisis sentimen, dan pemrosesan lainnya pada data bahasa alami sumber, serta menulis hasil yang telah diproses langsung ke tabel tujuan. Data vectorization: Mendukung ekstraksi dan vektorisasi (penyematan) data sumber sebelum menulisnya ke database vektor.

Langkah selanjutnya

Untuk petunjuk detail tentang pembuatan tugas, lihat: