Data Integration menyediakan Antarmuka tanpa kode untuk memandu Anda dalam pengembangan tugas. Dengan Antarmuka tanpa kode, Anda dapat mengonfigurasi sumber dan tujuan, lalu menggunakan parameter penjadwalan DataWorks untuk secara berkala menyinkronkan data penuh atau inkremental dari satu tabel sumber atau dari database dan tabel ter-shard ke tabel tujuan. Topik ini menjelaskan cara mengonfigurasi tugas sinkronisasi batch tabel tunggal di Antarmuka tanpa kode. Konfigurasi spesifik bervariasi tergantung pada sumber data. Untuk informasi lebih lanjut, lihat Sumber data yang didukung dan solusi sinkronisasi.
Prasyarat
Konfigurasikan database sumber dan tujuan yang diperlukan di Data Source Management di konsol DataWorks. Untuk informasi lebih lanjut, lihat Daftar sumber data.
CatatanUntuk informasi tentang sumber data yang mendukung sinkronisasi batch tabel tunggal dan konfigurasinya, lihat Sumber data yang didukung dan solusi sinkronisasi.
Untuk ikhtisar fitur sumber data, lihat Data Source Management.
Beli kelompok sumber daya dengan spesifikasi yang sesuai dan bind ke ruang kerja. Untuk informasi lebih lanjut, lihat Gunakan kelompok sumber daya Serverless.
Buat koneksi jaringan antara kelompok sumber daya dan sumber data. Untuk informasi lebih lanjut, lihat Konfigurasikan koneksi jaringan.
Jika Anda perlu menyinkronkan tabel MaxCompute yang tidak terikat ke ruang kerja saat ini (misalnya, dalam sinkronisasi lintas proyek), Anda harus terlebih dahulu menambahkan proyek MaxCompute target sebagai sumber data DataWorks. Hal ini memungkinkan Anda memilih tabel tersebut sebagai sumber atau tujuan dalam tugas sinkronisasi. Untuk informasi lebih lanjut tentang konfigurasi sumber data, lihat Data Source Management.
Langkah 1: Buat node Data Integration
Data Studio (versi baru)
Masuk ke konsol DataWorks. Di panel navigasi sebelah kiri, pilih . Pilih ruang kerja yang diinginkan dari daftar drop-down dan klik <p><a href={url} target="_blank">Learn more.</a></p>Data Studio.
Buat alur kerja. Untuk informasi lebih lanjut, lihat Alur kerja.
Buat node Data Integration dengan salah satu cara berikut:
Metode 1: Di pojok kanan atas daftar alur kerja, klik ikon
dan pilih .Metode 2: Klik ganda nama alur kerja dan seret node Data Integration dari folder Data Integration ke kanvas alur kerja di sebelah kanan.
Konfigurasikan jenis sumber dan tujuan, pilih Single Table Batch Sync, lalu klik OK.
Data Studio (versi lama)
Masuk ke konsol DataWorks. Di panel navigasi sebelah kiri, pilih . Pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Data Analytics.
Buat alur kerja. Untuk informasi lebih lanjut, lihat Buat alur kerja.
Buat node sinkronisasi batch dengan salah satu cara berikut:
Metode 1: Perluas alur kerja, klik kanan Data Integration, lalu pilih .
Metode 2: Klik ganda nama alur kerja dan seret node Batch Synchronization dari folder Data Integration ke kanvas alur kerja di sebelah kanan.
Ikuti petunjuk di layar untuk membuat node sinkronisasi batch.
Langkah 2: Konfigurasikan sumber data dan sumber daya waktu proses
Dalam contoh ini, sumber adalah sumber data MySQL bernama mysql, dan tujuan adalah sumber data MaxCompute bernama own_mc. kelompok sumber daya diatur ke dwGroup, dan CU diatur ke 0,5 CU.
Di bagian Source Information dan Destination, pilih sumber data untuk dibaca dan ditulis.
Di bagian Runtime Resource, pilih Resource Group untuk tugas sinkronisasi, dan alokasikan CU ke tugas dari Resource Group. Jika tugas sinkronisasi Anda gagal karena error Out of Memory (OOM) akibat sumber daya tidak mencukupi, sesuaikan alokasi CU kelompok sumber daya. Untuk konfigurasi kuota sumber daya yang direkomendasikan, lihat Metrik Performa Kelompok Sumber Daya - Data Integration.
Pastikan kedua sumber data sumber dan tujuan lolos Connectivity Check. Jika sumber data gagal dalam pengujian, ikuti petunjuk di layar atau lihat Konfigurasikan koneksi jaringan untuk membuat koneksi jaringan.
Jika kelompok sumber daya yang Anda buat tidak ditampilkan, pastikan kelompok tersebut telah di-bind ke ruang kerja. Untuk informasi lebih lanjut, lihat Gunakan kelompok sumber daya Serverless.
Langkah 3: Konfigurasikan solusi sinkronisasi
Di bagian Sumber dan Tujuan, konfigurasikan tabel yang akan dibaca dan ditulis, serta tentukan rentang data yang akan disinkronkan.
Konfigurasi plugin bervariasi. Bagian berikut menjelaskan pengaturan umum. Untuk konfigurasi yang didukung dan detail implementasinya, lihat dokumentasi plugin spesifik Anda. Untuk informasi lebih lanjut, lihat Daftar sumber data.
1. Sumber
Di bagian sumber, konfigurasikan tabel sumber dan tentukan parameter yang diperlukan sesuai permintaan.
Aksi | Deskripsi |
Penyaringan data |
Metode konfigurasi sinkronisasi inkremental bervariasi tergantung sumber data (plugin). Jika Anda tidak mengonfigurasi filter data, seluruh tabel akan disinkronkan secara default. |
Kunci sharding untuk database relasional | Menentukan bidang sumber yang digunakan untuk membagi data untuk sinkronisasi. Saat tugas dijalankan, data dibagi menjadi beberapa subtugas berdasarkan bidang ini untuk melakukan pembacaan batch secara konkuren. Kami merekomendasikan menggunakan primary key tabel sebagai kunci sharding (splitPk) karena primary key biasanya terdistribusi merata, yang membantu mencegah kesenjangan data di antara shard. Saat ini, kunci sharding hanya mendukung pemisahan untuk tipe data integer. Tipe string, float, date, dan lainnya tidak didukung. Jika Anda menentukan bidang dengan tipe yang tidak didukung, DataWorks akan mengabaikan kunci sharding dan menggunakan satu saluran untuk sinkronisasi. Jika Anda tidak menentukan kunci sharding atau nilainya kosong, satu saluran digunakan untuk menyinkronkan data dalam tabel. Tidak semua plugin mendukung konfigurasi kunci sharding. Informasi di atas hanya sebagai referensi. Untuk detailnya, lihat dokumentasi plugin spesifik Anda. Untuk informasi lebih lanjut, lihat Daftar sumber data. |
2. Pemrosesan data
Fitur pemrosesan data tersedia di versi baru Data Studio. Untuk menggunakan fitur ini di versi lama, Anda harus memilih Use New Version (with data processing feature) saat membuat tugas. Kami merekomendasikan Anda meningkatkan ruang kerja ke versi terbaru untuk mengakses semua fitur. Untuk informasi lebih lanjut, lihat Panduan peningkatan Data Studio.
Fitur pemrosesan data memungkinkan Anda mentransformasi data sumber menggunakan metode seperti penggantian string, pemrosesan berbantuan AI, dan penyematan data sebelum menulisnya ke tabel tujuan.
Sebagai contoh, untuk mengonfigurasi tugas penggantian string, Anda perlu mengatur Name dan Description. Di aturan penggantian, pilih Field name, masukkan Content to be replaced (mendukung Regular expression matching dan Case-sensitive matching), dan tentukan Replacement content. Anda dapat mengklik Add rule untuk menambahkan beberapa aturan penggantian dan menggunakan Data output preview di pojok kanan atas untuk melihat hasilnya.
Klik sakelar untuk mengaktifkan pemrosesan data.
Di Data Processing List, klik Add Node dan pilih jenis pemrosesan: Replace String, AI-assisted processing, atau data embedding. Anda dapat menambahkan beberapa node pemrosesan data, dan DataWorks memprosesnya secara berurutan.
Konfigurasikan aturan pemrosesan data sesuai permintaan. Untuk informasi lebih lanjut tentang pemrosesan berbantuan AI dan penyematan data, lihat Pemrosesan data.
CatatanPemrosesan data mengonsumsi sumber daya komputasi tambahan dan meningkatkan waktu proses tugas. Untuk menjaga efisiensi sinkronisasi, pertahankan logika pemrosesan sesederhana mungkin.
3. Tujuan
Di bagian tujuan, konfigurasikan tabel tujuan dan tentukan parameter yang diperlukan sesuai permintaan.
Aksi | Deskripsi |
Pernyataan pra- dan pasca-sinkronisasi | Beberapa sumber data memungkinkan Anda menjalankan pernyataan SQL di tujuan sebelum data ditulis (pra-sinkronisasi) dan setelah data ditulis (pasca-sinkronisasi). Contoh: MySQL Writer mendukung parameter |
Mode penulisan untuk konflik | Menentukan cara menangani konflik penulisan, seperti yang melibatkan path atau primary key. Opsi yang tersedia bergantung pada sumber data tujuan dan plugin writer. Untuk detailnya, lihat dokumentasi plugin writer spesifik Anda. |
Catatan tentang tabel partisi MaxCompute
Perhatikan hal berikut saat tujuan adalah tabel partisi MaxCompute:
Deteksi bidang partisi: DataWorks secara otomatis mendeteksi struktur partisi tabel MaxCompute target. Jika UI hanya menampilkan sebagian bidang partisi, periksa apakah semua bidang partisi telah didefinisikan dengan benar di lingkungan pengembangan dan produksi. Jika tugas gagal dengan error yang meminta Anda mengonfigurasi informasi partisi tabel, lengkapi parameter partisi di konfigurasi tujuan.
Refresh pemetaan bidang: Jika bidang baru yang ditambahkan ke sumber atau tujuan tidak muncul di area pemetaan bidang, coba metode berikut untuk merefresh cache:
Pastikan struktur tabel telah disinkronkan antara lingkungan pengembangan dan produksi.
Di halaman konfigurasi, beralih ke tabel lain lalu kembali ke tabel asli untuk merefresh cache.
Jika bidang masih belum direfresh, restart browser Anda atau gunakan mode penyamaran untuk membuka kembali halaman konfigurasi.
4. Konfigurasikan pemetaan bidang
Setelah Anda memilih sumber dan tujuan, Anda harus menentukan pemetaan antara kolom sumber dan tujuan. Tugas menulis data dari setiap bidang sumber ke bidang tujuan yang sesuai berdasarkan pemetaan ini.
Bidang sumber yang tidak dipetakan ke bidang tujuan mana pun tidak akan disinkronkan.
Jika pemetaan otomatis tidak sesuai harapan, Anda harus menyesuaikannya secara manual.
Untuk mengecualikan bidang dari sinkronisasi, Anda dapat menghapus garis penghubung antara bidang sumber dan tujuan secara manual.
Ketidaksesuaian tipe antara bidang sumber dan tujuan dapat menyebabkan kegagalan penulisan dan menghasilkan data kotor. Anda dapat mengonfigurasi toleransi data kotor di bagian Advanced configuration, seperti yang dijelaskan pada langkah berikutnya.
Anda dapat memetakan bidang berdasarkan nama, baris, menggunakan pemetaan cerdas, atau menggunakan pemetaan berbasis aturan. Anda juga dapat melakukan tindakan berikut:
Pemetaan cerdas: Untuk meningkatkan efisiensi dan mengurangi kesalahan, Data Integration mendukung pemetaan bidang cerdas. Fitur berbasis AI ini menganalisis nama bidang, tipe data, dan komentar untuk merekomendasikan pemetaan optimal hanya dengan satu klik. Anda hanya perlu mengonfirmasi rekomendasi atau melakukan penyesuaian kecil.
Di area pemetaan bidang, klik intelligent mapping untuk membuka kotak dialog. Anda dapat menggambarkan kebutuhan pemetaan Anda dalam bahasa alami.
Kasus penggunaan
Contoh khas
Prompt yang direkomendasikan
Pencocokan semantik global
Nama bidang benar-benar berbeda, tetapi maknanya sama
(misalnya,user_id↔device_id)Cocokkan secara semantik semua bidang di tabel sumber dan target untuk secara otomatis mengidentifikasi bidang dengan makna yang sama.Pencocokan domain bisnis spesifik
Hanya memetakan kategori bidang bisnis tertentu.
(Contoh: Hanya bidang "user" atau "order")Hanya petakan bidang di tabel sumber yang mengandung "informasi user" (seperti nama, nomor ponsel, atau ID) ke bidang yang sesuai di tabel tujuan.
(Catatan: Kata kunci dapat diganti dengan istilah lain, seperti "order", "logistik", atau "pembayaran".)Variasi awalan/akhiran
Nama inti sama dengan awalan atau akhiran berbeda
(misalnya,src_user_name↔tgt_user_name)Abaikan perbedaan awalan dan akhiran di bidang, lakukan pencocokan semantik hanya berdasarkan nama inti.Pencocokan singkatan dan nama lengkap
Satu sisi menggunakan singkatan, sementara sisi lain menggunakan nama lengkap.
(Misalnya:amt↔amount)Identifikasi singkatan bahasa Inggris umum dan nama lengkap yang sesuai (seperti amt=amount, addr=address), lalu buat pemetaan.Mengecualikan bidang tertentu
Anda tidak perlu menyinkronkan beberapa bidang serupa.
(Misalnya, bidangcreate_time.)Lakukan pencocokan semantik, tetapi kecualikan semua bidang yang mengandung string "time" atau "log".Koreksi logika kompleks
Hasil pencocokan otomatis salah dan perlu panduan manual.
Jangan petakan bidang id tabel sumber ke order_id tabel target. Harap hasilkan ulang saran pemetaan.Setelah memasukkan prompt, klik Generate Preview. Sistem menampilkan saran pemetaan di area Preview Matching Results. Anda dapat meninjau dan memilih pemetaan yang diinginkan, lalu klik Apply untuk menambahkannya ke konfigurasi pemetaan bidang. Jika Anda tidak puas dengan hasilnya, Anda dapat menyesuaikan prompt dan menghasilkan pratinjau baru.
Pemetaan berbasis aturan: Jika nama bidang sumber dan tujuan memiliki pola perbedaan yang konsisten, gunakan pemetaan berbasis aturan untuk membuat pemetaan secara batch dengan mengonfigurasi aturan seperti pencocokan awalan/akhiran atau penggantian karakter. Di area pemetaan bidang, klik rule-based mapping, pilih metode dan aturan pemetaan, konfigurasikan pengaturan, pratinjau hasilnya, lalu klik Apply.
Tetapkan nilai ke bidang tujuan: Di kolom Source Table Field, klik Add Fields untuk menambahkan konstanta, parameter penjadwalan, atau variabel bawaan ke tabel tujuan. Misalnya, '123', '${scheduling_parameter}', atau '#{built_in_variable}#'.
CatatanUntuk informasi lebih lanjut tentang cara menggunakan parameter penjadwalan, lihat Format parameter penjadwalan yang didukung.
Tambahkan variabel bawaan: Anda dapat menambahkan variabel bawaan secara manual dan memetakannya ke bidang tujuan, yang menghasilkan output variabel ke komponen downstream.
Tabel berikut menjelaskan variabel bawaan yang tersedia untuk plugin berbeda.
Variabel bawaan
Deskripsi
Plugin yang didukung
'
#{DATASOURCE_NAME_SRC}#'Nama sumber data sumber
MySQL Reader
MySQL (Sharded) Reader
PolarDB Reader
PolarDB (Sharded) Reader
PostgreSQL Reader
PolarDB-O Reader
PolarDB-O (Sharded) Reader
'
#{DB_NAME_SRC}#'Nama database tempat tabel sumber berada
MySQL Reader
MySQL (Sharded) Reader
PolarDB Reader
PolarDB (Sharded) Reader
PostgreSQL Reader
PolarDB-O Reader
PolarDB-O (Sharded) Reader
'
#{SCHEMA_NAME_SRC}#'Nama skema tempat tabel sumber berada
PolarDB Reader
PolarDB (Sharded) Reader
PostgreSQL Reader
PolarDB-O Reader
PolarDB-O (Sharded) Reader
'
#{TABLE_NAME_SRC}#'Nama tabel sumber
MySQL Reader
MySQL (Sharded) Reader
PolarDB Reader
PolarDB (Sharded) Reader
PostgreSQL Reader
PolarDB-O Reader
PolarDB-O (Sharded) Reader
'
#{FILE_NAME_SRC}#'Nama file
OSS Reader
HDFS Reader
FTP Reader
TOS Reader
COS Reader
S3 Reader
Azure Blob Reader
'
#{FILE_PATH_SRC}#'Path file absolut
OSS Reader
HDFS Reader
FTP Reader
TOS Reader
COS Reader
S3 Reader
Azure Blob Reader
Edit bidang sumber: Klik Manually Edit Mapping untuk melakukan tindakan berikut:
Terapkan fungsi yang didukung oleh database sumber untuk memproses bidang. Misalnya, gunakan
Max(id)untuk hanya menyinkronkan nilai maksimum.Edit bidang sumber secara manual jika tidak semua bidang diambil selama pemetaan otomatis.
CatatanMaxCompute Reader tidak mendukung fungsi.
Langkah 4: Konfigurasikan pengaturan lanjutan
Fitur Channel di versi sinkronisasi data sebelumnya kini dikenal sebagai Pengaturan lanjutan.
Anda dapat menggunakan pengaturan lanjutan untuk mengontrol properti proses sinkronisasi data. Untuk informasi lebih lanjut tentang parameter, lihat Hubungan antara konkurensi dan pembatasan kecepatan untuk sinkronisasi batch.
Parameter | Deskripsi |
Expected Maximum Concurrency | Menentukan jumlah maksimum thread yang digunakan untuk membaca dari sumber atau menulis ke tujuan secara konkuren. Catatan
|
Sync Rate | Mengontrol kecepatan transfer data.
Catatan Metrik trafik mencerminkan throughput dalam Data Integration itu sendiri, bukan trafik kartu antarmuka jaringan (NIC) aktual. Trafik NIC biasanya satu hingga dua kali lipat trafik saluran, tergantung pada overhead serialisasi protokol transfer sistem penyimpanan data. |
Policy for Dirty Data Records | Data kotor mengacu pada catatan yang gagal ditulis ke tujuan oleh tugas karena pengecualian seperti konflik tipe atau pelanggaran batasan. Anda dapat menentukan kebijakan yang mengatur ambang batas toleransi dan menentukan perilaku tugas.
Penting Jumlah data kotor yang berlebihan dapat memperlambat kecepatan sinkronisasi secara keseluruhan. |
Distributed Execution | Mengontrol apakah tugas dijalankan dalam mode terdistribusi.
Anda dapat menggunakan mode terdistribusi jika memiliki persyaratan performa tinggi. Mode ini juga memanfaatkan sumber daya mesin terfragmentasi secara efisien. Penting
|
Time Zone | Jika Anda perlu menyinkronkan data lintas zona waktu, Anda dapat mengatur zona waktu sumber untuk melakukan konversi zona waktu. |
Kecepatan sinkronisasi keseluruhan dipengaruhi tidak hanya oleh pengaturan di atas tetapi juga oleh faktor seperti performa sumber data sumber dan kondisi jaringan. Untuk informasi lebih lanjut tentang kecepatan sinkronisasi dan penyetelan, lihat Mempercepat atau membatasi laju tugas sinkronisasi batch.
Langkah 5: Konfigurasikan properti penjadwalan
Untuk tugas sinkronisasi batch tabel tunggal yang dijadwalkan secara berkala, Anda perlu mengonfigurasi properti penjadwalan otomatisnya. Di halaman konfigurasi node, klik Scheduling Settings di panel kanan untuk mengonfigurasi properti penjadwalan node.
Anda perlu mengonfigurasi parameter penjadwalan, kebijakan penjadwalan, waktu jadwal, dan dependensi penjadwalan untuk tugas sinkronisasi. Metode konfigurasinya sama dengan node Data Studio lainnya dan tidak diulang di sini.
Untuk Data Studio (versi baru), lihat Penjadwalan node (versi baru).
Untuk Data Studio (versi lama), lihat Konfigurasi penjadwalan node (versi lama).
Untuk informasi tentang cara menggunakan parameter penjadwalan, lihat Skenario khas penggunaan parameter penjadwalan di Data Integration.
Langkah 6: Uji dan publikasikan tugas
Konfigurasikan parameter run.
Di halaman konfigurasi tugas, klik Run Configuration di panel kanan dan konfigurasikan parameter berikut untuk uji coba.
Parameter
Deskripsi
Resource Group
Pilih kelompok sumber daya yang terhubung ke sumber data.
Script Parameters
Tetapkan nilai ke parameter placeholder dalam tugas sinkronisasi data. Misalnya, jika tugas menggunakan parameter
${bizdate}, Anda harus memasukkan parameter tanggal dalam formatyyyymmdd.Jalankan tugas.
Klik ikon
Run di bilah alat untuk menjalankan dan men-debug tugas di Data Studio. Setelah tugas selesai, Anda dapat membuat node dengan jenis sumber data tujuan untuk mengkueri data tabel dan memverifikasi hasilnya.Publikasikan tugas.
Setelah uji coba berhasil, jika tugas perlu dijalankan sesuai jadwal, klik ikon
di bagian atas halaman konfigurasi node untuk mempublikasikan tugas ke lingkungan produksi. Untuk informasi lebih lanjut tentang publikasi tugas, lihat Publikasikan tugas.
Batasan
Anda hanya dapat mengonfigurasi tugas sinkronisasi batch tabel tunggal di Data Studio.
Antarmuka tanpa kode tidak mendukung sinkronisasi batch tabel tunggal untuk beberapa sumber data.
Jika muncul pesan bahwa Antarmuka tanpa kode tidak didukung untuk sumber data yang Anda pilih, klik ikon
di bilah alat untuk beralih ke mode skrip dan lanjutkan mengonfigurasi tugas. Untuk informasi lebih lanjut, lihat Konfigurasikan tugas dalam mode skrip.Antarmuka tanpa kode mudah dipelajari tetapi tidak mendukung beberapa fitur lanjutan. Jika Anda memerlukan manajemen konfigurasi detail halus, Anda dapat mengklik ikon konversi skrip di bilah alat untuk beralih ke mode skrip.
Tugas sinkronisasi batch tabel tunggal di Antarmuka tanpa kode hanya mendukung sinkronisasi satu tabel atau beberapa database dan tabel ter-shard (sharding hanya didukung untuk jenis sumber data tertentu dan memerlukan struktur tabel yang konsisten). Fitur ini tidak mendukung sinkronisasi database penuh, yang mencakup sinkronisasi batch struktur tabel dan data. Untuk sinkronisasi database penuh, lihat Tugas sinkronisasi batch database penuh.
Tugas sinkronisasi batch tidak dapat langsung dikonversi menjadi tugas sinkronisasi real-time. Untuk menyinkronkan data secara real-time, Anda harus membuat node tugas sinkronisasi real-time tabel tunggal baru.
Jika Anda menerima error "nama node terlalu panjang" saat mempublikasikan, ubah nama node di bagian konfigurasi lanjutan halaman publikasi. Pastikan nama tidak melebihi 128 karakter.
Langkah selanjutnya
Setelah mempublikasikan tugas ke lingkungan produksi, buka Pusat Operasi untuk melihat tugas terjadwal. Untuk detail tentang menjalankan dan mengelola tugas, memantau statusnya, dan memelihara kelompok sumber daya, lihat Operasi untuk tugas sinkronisasi batch.