All Products
Search

This Product

    DataWorks:Konfigurasi tugas sinkronisasi batch tabel tunggal dalam mode wizard

    Document Center

    DataWorks:Konfigurasi tugas sinkronisasi batch tabel tunggal dalam mode wizard

    Last Updated:Sep 12, 2026

    Data Integration menyediakan antarmuka tanpa kode yang memandu Anda mengonfigurasi sumber dan tujuan untuk menyinkronkan data penuh atau inkremental secara berkala dari satu tabel atau tabel ter-shard ke tabel tujuan. Konfigurasi spesifik bervariasi tergantung pada sumber data. Untuk informasi lebih lanjut, lihat Sumber data yang didukung dan solusi sinkronisasi.

    Prasyarat

    • Konfigurasikan database sumber dan tujuan yang diperlukan di Data Source Management. Untuk informasi lebih lanjut, lihat Daftar sumber data.

      Catatan

    • Beli kelompok sumber daya dengan spesifikasi yang sesuai dan kaitkan dengan ruang kerja. Untuk informasi lebih lanjut, lihat Gunakan kelompok sumber daya serverless.

    • Buat konektivitas jaringan antara kelompok sumber daya dan sumber data. Untuk informasi lebih lanjut, lihat Konfigurasi konektivitas jaringan.

    • Jika Anda perlu menyinkronkan tabel MaxCompute yang tidak terikat ke ruang kerja saat ini (misalnya, dalam sinkronisasi lintas proyek), Anda harus terlebih dahulu menambahkan proyek MaxCompute target sebagai sumber data DataWorks. Hal ini memungkinkan Anda memilih tabel tersebut sebagai sumber atau tujuan dalam tugas sinkronisasi. Untuk informasi lebih lanjut tentang konfigurasi sumber data, lihat Data Source Management.

    • Dalam skenario lintas akun, cara yang direkomendasikan untuk menambahkan sumber data di akun lain adalah otorisasi lintas akun. Ini menghilangkan kebutuhan untuk memelihara informasi koneksi dan kredensial instans di akun lain secara manual. Jika otorisasi lintas akun tidak didukung dan sumber data mendukung Connection String Mode, seperti StarRocks, Anda dapat memasukkan informasi koneksi instans di akun lain secara manual, termasuk Host Address, Port, Load URL, Database Name, Username, dan Password. Setelah sumber data lulus uji konektivitas, Anda dapat menarik metadata-nya dan memilihnya sebagai sumber atau tujuan dalam node integrasi data DataWorks. Hal ini berlaku untuk sinkronisasi batch yang dikonfigurasi di antarmuka tanpa kode DataStudio maupun mode editor kode, serta mencakup skenario sharding dan O&M yang dikelola dari Operation Center.

    Langkah 1: Buat node Data Integration

    Data Studio (versi baru)

    1. Masuk ke Konsol DataWorks. Di panel navigasi sebelah kiri, pilih Data Development and O&M > DataStudio. Pilih ruang kerja yang diinginkan dari daftar drop-down, lalu klik <p><a href={url} target="_blank">Learn more.</a></p>Data Studio.

    2. Buat alur kerja. Untuk informasi lebih lanjut, lihat Alur kerja.

    3. Buat node Data Integration dengan salah satu cara berikut:

      • Metode 1: Di pojok kanan atas daftar alur kerja, klik image, lalu pilih Create Node > Data Integration.

      • Metode 2: Klik ganda nama alur kerja, lalu seret node Data Integration dari direktori Data Integration ke panel pengeditan alur kerja di sebelah kanan.

    4. Konfigurasikan jenis sumber dan tujuan untuk node tersebut, pilih Single Table Batch Sync sebagai jenis spesifik, lalu klik OK untuk menyelesaikan pembuatan.

    Legacy Data Studio

    1. Masuk ke Konsol DataWorks. Di panel navigasi sebelah kiri, pilih Data Development and O&M > DataStudio. Pilih ruang kerja yang diinginkan dari daftar drop-down, lalu klik Data Analytics.

    2. Buat alur kerja. Untuk informasi lebih lanjut, lihat Buat alur kerja.

    3. Buat node sinkronisasi batch dengan salah satu cara berikut:

      • Metode 1: Perluas alur kerja, klik kanan Data Integration > Create Node > Batch Synchronization.

      • Metode 2: Klik ganda nama alur kerja, lalu seret node Batch Synchronization dari direktori Data Integration ke panel pengeditan alur kerja di sebelah kanan.

    4. Ikuti petunjuk di layar untuk membuat node sinkronisasi batch.

    Langkah 2: Konfigurasi sumber data dan sumber daya waktu proses

    Dalam contoh ini, jenis sumber data Source diatur ke MySQL dan sumber data diatur ke mysql. Jenis sumber data Destination diatur ke MaxCompute (ODPS) dan sumber data diatur ke own_mc. Resource Group diatur ke dwGroup, dan CU diatur ke 0,5 CU.

    1. Di bagian Source Information dan Destination, pilih objek sumber data dari mana Anda ingin membaca data dan ke mana Anda ingin menulis data.

    2. Di bagian Runtime Resource, pilih Resource Group untuk tugas sinkronisasi, dan alokasikan Resource Group CU ke tugas tersebut. Jika tugas sinkronisasi Anda mengalami error kehabisan memori (OOM) karena sumber daya tidak mencukupi, tingkatkan nilai CU untuk kelompok sumber daya tersebut. Untuk konfigurasi kuota sumber daya yang direkomendasikan, lihat Metrik kinerja kelompok sumber daya - Data Integration.

    3. Pastikan kedua sumber data sumber dan tujuan lulus Connectivity Check. Jika jaringan antara sumber data dan kelompok sumber daya tidak terhubung, ikuti petunjuk di layar atau dokumentasi untuk mengonfigurasi konektivitas jaringan. Untuk informasi lebih lanjut, lihat Konfigurasi konektivitas jaringan.

    Catatan

    Langkah 3: Konfigurasi solusi sinkronisasi

    Di bagian sumber dan tujuan, konfigurasikan tabel untuk membaca dan menulis data, serta tentukan cakupan data untuk sinkronisasi.

    Penting

    Konfigurasi bervariasi tergantung pada plug-in. Konten berikut menggunakan konfigurasi umum sebagai contoh. Untuk informasi apakah plug-in tertentu mendukung konfigurasi dan cara kerjanya, lihat dokumentasi plug-in tersebut. Untuk informasi lebih lanjut, lihat Daftar sumber data.

    1. Sumber

    Di bagian sumber, konfigurasikan tabel data dan isi parameter yang diperlukan.

    Operasi

    Deskripsi

    Konfigurasi penyaringan data

    • Beberapa jenis sumber mendukung penyaringan data. Anda dapat menentukan kondisi klausa WHERE (tanpa kata kunci WHERE) untuk menyaring data sumber. Hanya data yang memenuhi kondisi yang akan disinkronkan. Untuk informasi lebih lanjut, lihat Konfigurasi penyaringan data.

    • Penyaringan data hanya mendukung ekspresi kondisional klausa WHERE. Fitur ini tidak mendukung pernyataan SQL lain seperti SELECT, JOIN, atau lainnya. Jika Anda memerlukan kueri SQL kompleks selama sinkronisasi (seperti fungsi UDF, JOIN multi-tabel, atau transformasi SQL in-memory), gunakan pendekatan bertahap: jalankan logika kompleks melalui node MaxCompute SQL atau node PyODPS, tulis hasilnya ke tabel temporary, lalu konfigurasikan node Data Integration untuk membaca dari tabel temporary tersebut dan menyinkronkan ke tujuan akhir.

    • Untuk menerapkan sinkronisasi inkremental, gabungkan kondisi filter ini dengan parameter penjadwalan agar kondisi berubah secara dinamis. Misalnya, jika Anda menggunakan gmt_create >= '${bizdate}', tugas hanya akan menyinkronkan data yang ditambahkan pada hari tersebut setiap kali dijalankan. Anda juga harus memberikan nilai variabel saat mengonfigurasi pengaturan penjadwalan. Untuk informasi lebih lanjut, lihat Konfigurasi parameter penjadwalan.

    Metode konfigurasi sinkronisasi inkremental bervariasi tergantung pada sumber data (plug-in).

    Jika tidak ada kondisi penyaringan data yang dikonfigurasi, semua data dalam tabel akan disinkronkan secara default.

    Konfigurasi kunci pemisahan untuk database relasional

    Tentukan kolom yang digunakan untuk membagi data guna pembacaan konkuren selama sinkronisasi.

    Kami merekomendasikan Anda menggunakan primary key sebagai kunci pemisahan karena primary key biasanya terdistribusi merata, sehingga mencegah hotspot data.

    Saat ini, kunci pemisahan hanya mendukung tipe integer. Tipe string, floating-point, tanggal, dan tipe lainnya tidak didukung. Jika Anda menentukan tipe yang tidak didukung, DataWorks akan mengabaikan kunci pemisahan dan menggunakan saluran tunggal untuk sinkronisasi.

    Jika Anda tidak menentukan kunci pemisahan, sinkronisasi data akan menggunakan saluran tunggal.

    Tidak semua plug-in mendukung kunci pemisahan. Informasi di atas hanya sebagai referensi. Untuk detailnya, lihat dokumentasi plug-in. Untuk informasi lebih lanjut, lihat Daftar sumber data.

    2. Pemrosesan data

    Penting

    Pemrosesan data adalah fitur versi baru Data Studio. Di Legacy Data Studio, Anda harus memilih Use New UI (With Data Processing Feature) saat membuat tugas. Kami merekomendasikan Anda meningkatkan ruang kerja legacy ke versi baru untuk menggunakan seluruh fitur: Tingkatkan ke versi baru.

    Pemrosesan data memungkinkan Anda mentransformasi data dari tabel sumber menggunakan metode seperti penggantian string, pemrosesan berbantuan AI, dan vektorisasi data sebelum menulisnya ke tabel tujuan.

    Ambil contoh penggantian string. Item konfigurasi mencakup Name dan Description. Dalam aturan penggantian, pilih Field Name, masukkan Content to Replace (yang mendukung Regular Expression Matching dan Case-Sensitive Matching), lalu tentukan Replacement Content. Anda dapat mengklik Add Rule untuk menambahkan beberapa aturan penggantian, dan gunakan Data Output Preview di pojok kanan atas untuk melihat hasil pemrosesan.

    1. Klik tombol toggle untuk mengaktifkan pemrosesan data.

    2. Di Data Processing List, klik Add Node dan pilih jenis pemrosesan data: Replace String, AI-Assisted Processing, atau Data Vectorization. Anda dapat menambahkan beberapa node pemrosesan data. DataWorks akan memprosesnya secara berurutan.

    3. Konfigurasikan aturan pemrosesan data sesuai petunjuk. Untuk informasi tentang pemrosesan berbantuan AI dan vektorisasi data, lihat Pemrosesan data.

      Catatan

      Pemrosesan data memerlukan sumber daya komputasi tambahan, yang meningkatkan konsumsi sumber daya dan durasi tugas. Minimalkan kompleksitas pemrosesan untuk menghindari dampak terhadap efisiensi sinkronisasi.

    3. Tujuan

    Di bagian tujuan, konfigurasikan tabel data dan isi parameter yang diperlukan.

    Operasi

    Deskripsi

    Konfigurasi pernyataan pra-sinkronisasi dan pasca-sinkronisasi

    Beberapa sumber data mendukung eksekusi pernyataan SQL pada tujuan sebelum sinkronisasi (sebelum menulis data) dan setelah sinkronisasi (setelah menulis data).

    Contoh: MySQL Writer mendukung konfigurasi preSql dan postSql, yang memungkinkan Anda menjalankan perintah MySQL sebelum atau setelah data ditulis ke MySQL. Misalnya, Anda dapat mengonfigurasi perintah pemotongan tabel MySQL truncate table tablename di bidang Statement Run Before Writing (preSql) untuk menghapus data lama dari tabel sebelum sinkronisasi.

    Tentukan mode resolusi konflik penulisan

    Tentukan cara data ditulis ke tujuan saat terjadi konflik, seperti konflik path atau primary key. Lihat dokumentasi plug-in writer spesifik untuk detail konfigurasi.

    Catatan konfigurasi tabel partisi MaxCompute

    Saat tujuan adalah tabel partisi MaxCompute, perhatikan hal berikut:

    • Identifikasi kolom partisi: DataWorks secara otomatis mengidentifikasi struktur partisi tabel tujuan MaxCompute. Jika hanya beberapa kolom partisi yang ditampilkan di UI, periksa apakah semua kolom partisi telah didefinisikan dengan benar di lingkungan pengembangan maupun produksi. Jika tugas gagal dan meminta Anda mengonfigurasi informasi partisi tabel, lengkapi parameter partisi di konfigurasi tujuan.

    • Pembaruan pemetaan kolom: Jika kolom baru ditambahkan ke sumber atau tujuan tetapi tidak ditampilkan di bagian pemetaan kolom, coba metode berikut untuk memperbarui cache:

      1. Pastikan skema tabel di lingkungan pengembangan dan produksi telah diperbarui.

      2. Di halaman konfigurasi, alihkan ke tabel lain lalu kembali ke tabel asli untuk memperbarui cache.

      3. Jika cache masih belum diperbarui, restart browser atau gunakan mode penyamaran untuk membuka kembali halaman konfigurasi.

    4. Konfigurasi pemetaan kolom

    Setelah memilih sumber dan tujuan, tentukan pemetaan kolom antara reader dan writer. Tugas akan menulis kolom sumber ke kolom tujuan yang sesuai berdasarkan pemetaan tersebut.

    • Jika kolom sumber tidak dipetakan ke kolom tujuan, datanya tidak akan disinkronkan.

    • Jika pemetaan otomatis tidak sesuai harapan, sesuaikan pemetaan secara manual.

    • Untuk menghapus pemetaan kolom, hapus garis pemetaan antara kolom sumber dan tujuan. Data di kolom sumber tersebut tidak akan disinkronkan.

    Ketidakcocokan tipe data antara sumber dan tujuan dapat menghasilkan data dirty, sehingga mencegah penulisan data ke tujuan. Untuk mengatur jumlah catatan data dirty yang dapat ditoleransi, konfigurasikan Advanced Configurations di langkah berikutnya.

    Pemetaan berdasarkan nama yang sama, baris yang sama, pemetaan cerdas, dan pemetaan berbasis aturan didukung. Selama konfigurasi, Anda juga dapat:

    • Pemetaan cerdas: Data Integration menggunakan analisis semantik AI untuk secara otomatis mengidentifikasi nama kolom, tipe data, dan komentar dari tabel sumber dan tujuan serta merekomendasikan pemetaan optimal. Anda hanya perlu mengonfirmasi rekomendasi atau melakukan penyesuaian minor.

      Di bagian pemetaan kolom, klik Intelligent Mapping untuk membuka dialog pemetaan cerdas. Anda dapat menggambarkan kebutuhan pemetaan Anda dalam bahasa alami.

      • Skenario yang berlaku

        Contoh khas

        Prompt yang direkomendasikan

        Pencocokan semantik global

        Nama kolom benar-benar berbeda tetapi memiliki makna yang sama
        (Contoh: user_id ↔ device_id)

        Lakukan pencocokan semantik pada semua kolom tabel sumber dan tujuan, dan identifikasi secara otomatis kolom dengan makna yang sama.

        Pencocokan domain bisnis spesifik

        Hanya kolom bisnis tertentu yang perlu dipetakan
        (Contoh: hanya kolom terkait "user" atau "order")

        Petakan hanya kolom di tabel sumber yang mengandung "informasi user" (seperti nama, nomor telepon, dan ID) ke kolom yang sesuai di tabel tujuan.
        (Catatan: Anda dapat mengganti kata kunci dengan "order", "logistik", "pembayaran", dll.)

        Perbedaan konvensi awalan/akhiran

        Nama inti sama tetapi awalan/akhirannya berbeda
        (Contoh: src_user_name ↔ tgt_user_name)

        Abaikan perbedaan awalan dan akhiran pada nama kolom, dan lakukan pencocokan semantik hanya berdasarkan nama inti.

        Pencocokan singkatan dan nama lengkap

        Satu sisi menggunakan singkatan sedangkan sisi lain menggunakan nama lengkap
        (Contoh: amt ↔ amount)

        Identifikasi pemetaan umum dari singkatan ke nama lengkap dalam bahasa Inggris (seperti amt=amount, addr=address) dan buat pemetaan sesuai.

        Mengecualikan kolom tertentu

        Beberapa kolom mirip tetapi tidak perlu disinkronkan
        (Contoh: create_time tidak diperlukan)

        Lakukan pencocokan semantik, tetapi kecualikan semua kolom yang mengandung "time" atau "log" dalam namanya.

        Koreksi logika kompleks

        Hasil pencocokan otomatis salah dan memerlukan panduan manual

        Jangan petakan kolom id tabel sumber ke kolom order_id tabel tujuan. Hasilkan ulang saran pemetaan.

      • Setelah memasukkan deskripsi, klik Generate Preview. Sistem akan menampilkan saran pemetaan di bagian Matching Result Preview. Anda dapat meninjau dan memilih pemetaan yang dibutuhkan, lalu klik Apply untuk menambahkan pemetaan yang dipilih ke pemetaan kolom. Jika hasilnya tidak memuaskan, sesuaikan deskripsi dan hasilkan ulang pratinjau.

    • Pemetaan berbasis aturan: Saat nama kolom antara sumber dan tujuan mengikuti pola tertentu, Anda dapat menggunakan fitur Rule-Based Mapping untuk membuat pemetaan kolom secara massal. Konfigurasikan aturan seperti pencocokan awalan/akhiran atau penggantian karakter, pratinjau hasil pemetaan, lalu klik Apply.

    • Tetapkan nilai ke kolom tujuan: Anda dapat menambahkan konstanta, parameter penjadwalan, dan variabel bawaan ke tabel tujuan dengan mengklik Add Fields di kolom Source Table Field. Contohnya: '123', '${parameter penjadwalan}', '#{variabel bawaan}#'.

      Catatan

      Untuk informasi lebih lanjut tentang parameter penjadwalan, lihat Konfigurasi parameter penjadwalan.

    • Tambahkan variabel bawaan: Anda dapat menambahkan variabel bawaan secara manual, memetakannya ke kolom tujuan, dan mengeluarkan variabel bawaan tersebut ke tugas downstream.

      Variabel bawaan yang tersedia untuk setiap plug-in adalah sebagai berikut:

      Variabel bawaan

      Deskripsi

      Plug-in yang didukung

      '#{DATASOURCE_NAME_SRC}#'

      Nama sumber data sumber

      • MySQL Reader

      • MySQL (sharded) Reader

      • PolarDB Reader

      • PolarDB (sharded) Reader

      • PostgreSQL Reader

      • PolarDB-O Reader

      • PolarDB-O (sharded) Reader

      '#{DB_NAME_SRC}#'

      Nama database tempat tabel sumber berada

      • MySQL Reader

      • MySQL (sharded) Reader

      • PolarDB Reader

      • PolarDB (sharded) Reader

      • PostgreSQL Reader

      • PolarDB-O Reader

      • PolarDB-O (sharded) Reader

      '#{SCHEMA_NAME_SRC}#'

      Nama skema tempat tabel sumber berada

      • PolarDB Reader

      • PolarDB (sharded) Reader

      • PostgreSQL Reader

      • PolarDB-O Reader

      • PolarDB-O (sharded) Reader

      '#{TABLE_NAME_SRC}#'

      Nama tabel sumber

      • MySQL Reader

      • MySQL (sharded) Reader

      • PolarDB Reader

      • PolarDB (sharded) Reader

      • PostgreSQL Reader

      • PolarDB-O Reader

      • PolarDB-O (sharded) Reader

      '#{FILE_NAME_SRC}#'

      Nama file

      • OSS Reader

      • HDFS Reader

      • FTP Reader

      • TOS Reader

      • COS Reader

      • S3 Reader

      • Azure Blob Reader

      '#{FILE_PATH_SRC}#'

      Jalur file absolut

      • OSS Reader

      • HDFS Reader

      • FTP Reader

      • TOS Reader

      • COS Reader

      • S3 Reader

      • Azure Blob Reader

    • Edit kolom sumber: Anda dapat mengklik Manually Edit Mapping untuk melakukan operasi berikut:

      • Gunakan fungsi yang didukung oleh database sumber untuk memproses kolom. Misalnya, gunakan Max(id) untuk hanya menyinkronkan nilai maksimum.

      • Edit kolom sumber secara manual jika pemetaan kolom tidak mengambil semua kolom.

      Catatan

      MaxCompute Reader tidak mendukung penggunaan fungsi.

    Langkah 4: Konfigurasi lanjutan

    Penting

    Konfigurasi lanjutan setara dengan fitur Channel Control dalam versi sinkronisasi data sebelumnya.

    Gunakan konfigurasi lanjutan untuk mengontrol properti proses sinkronisasi data. Untuk informasi lebih lanjut, lihat Channel Control.

    Parameter

    Deskripsi

    Expected Maximum Concurrency

    Menentukan jumlah maksimum thread konkuren untuk membaca dari sumber atau menulis ke tujuan.

    Catatan

    • Karena spesifikasi sumber daya dan faktor lainnya, konkurensi aktual selama eksekusi mungkin kurang dari atau sama dengan nilai yang dikonfigurasi. Kelompok sumber daya dikenai biaya berdasarkan konkurensi aktual. Untuk informasi lebih lanjut, lihat Detail penagihan.

    • Biaya penjadwalan tugas terkait dengan jumlah tugas sinkronisasi batch tabel tunggal, bukan konkurensi yang dikonfigurasi.

    Sync Rate

    Mengontrol kecepatan sinkronisasi.

    • Pembatasan kecepatan: Membatasi kecepatan sinkronisasi untuk melindungi database sumber dari beban baca berlebihan. Nilai pembatasan minimum adalah 1 MB/s.

    • Tanpa pembatasan: Tugas memberikan kinerja transfer maksimum yang tersedia, tergantung pada konkurensi yang dikonfigurasi.

    Catatan

    Metrik trafik diukur oleh Data Integration dan tidak mewakili trafik NIC aktual. Trafik NIC biasanya 1 hingga 2 kali trafik saluran, tergantung pada serialisasi transport sistem penyimpanan data.

    Policy for Dirty Data Records

    Dirty data mengacu pada catatan data yang gagal ditulis ke tujuan karena pengecualian seperti konflik tipe atau pelanggaran batasan. Sinkronisasi batch tabel tunggal mendukung definisi kebijakan data dirty. Anda dapat menentukan jumlah catatan data dirty yang dapat ditoleransi dan bagaimana hal tersebut memengaruhi tugas.

    • Jika tidak ada konfigurasi yang ditentukan, data dirty diizinkan secara default dan tidak memengaruhi eksekusi tugas.

    • Jika nilai diatur ke 0, tidak ada data dirty yang diizinkan. Jika data dirty dihasilkan selama sinkronisasi, tugas akan gagal.

    • Jika data dirty diizinkan dan ambang batas ditetapkan:

      • Jika data dirty yang dihasilkan berada dalam ambang batas, tugas sinkronisasi mengabaikan data dirty tersebut (tidak ditulis ke tujuan) dan terus berjalan normal.

      • Jika data dirty yang dihasilkan melebihi ambang batas, tugas sinkronisasi gagal.

    Penting

    Data dirty berlebihan memengaruhi kecepatan sinkronisasi keseluruhan tugas.

    Distributed Execution

    Mengontrol apakah akan mengaktifkan mode terdistribusi untuk tugas.

    • Diaktifkan: Membagi tugas menjadi beberapa proses untuk eksekusi konkuren, mengatasi bottleneck proses tunggal, dan meningkatkan efisiensi sinkronisasi.

    • Dimatikan: Tugas berjalan dalam satu proses.

    Mode terdistribusi direkomendasikan untuk kebutuhan berkinerja-tinggi. Fitur ini juga dapat memanfaatkan sumber daya terfragmentasi pada mesin, meningkatkan pemanfaatan sumber daya.

    Penting

    • Konkurensi harus 8 atau lebih besar untuk mengaktifkan pemrosesan terdistribusi.

    • Mengaktifkan pemrosesan terdistribusi mengonsumsi lebih banyak sumber daya. Jika terjadi error kehabisan memori (OOM) selama waktu proses, coba nonaktifkan fitur ini.

    Time Zone

    Untuk sinkronisasi lintas zona waktu, konfigurasikan zona waktu sumber untuk konversi zona waktu.

    Catatan

    Selain konfigurasi di atas, kecepatan sinkronisasi keseluruhan juga dipengaruhi oleh kinerja sumber data sumber, lingkungan jaringan, dan faktor lainnya. Untuk informasi lebih lanjut tentang kecepatan sinkronisasi dan penyetelan, lihat Kecepatan sinkronisasi dan penyetelan.

    Langkah 5: Konfigurasi pengaturan penjadwalan

    Untuk tugas sinkronisasi batch tabel tunggal dengan penjadwalan berkala, Anda harus mengonfigurasi properti untuk penjadwalan otomatis. Buka halaman pengeditan node, klik Scheduling Settings di sisi kanan, lalu konfigurasikan pengaturan penjadwalan untuk node tersebut.

    Konfigurasikan parameter penjadwalan, kebijakan penjadwalan, waktu penjadwalan, dan dependensi untuk tugas sinkronisasi. Metode konfigurasi sama seperti node pengembangan data lainnya.

    Untuk informasi lebih lanjut tentang penggunaan parameter penjadwalan, lihat Skenario khas parameter penjadwalan di Data Integration.

    Langkah 6: Uji dan terapkan tugas

    • Konfigurasikan parameter eksekusi.

      Di sisi kanan halaman konfigurasi tugas sinkronisasi batch tabel tunggal, klik Run Configuration dan konfigurasikan parameter berikut untuk pengujian.

      Item konfigurasi

      Deskripsi

      Resource Group

      Pilih kelompok sumber daya yang memiliki konektivitas jaringan dengan sumber data.

      Script Parameters

      Berikan nilai ke parameter placeholder dalam tugas sinkronisasi data. Misalnya, jika tugas Data Integration menggunakan parameter ${bizdate}, konfigurasikan parameter tanggal dalam format yyyymmdd.

    • Jalankan tugas.

      Klik tombol image Run di bilah alat untuk menjalankan dan men-debug tugas di Data Studio. Anda kemudian dapat membuat node dengan jenis tabel tujuan yang sesuai untuk mengkueri data tabel tujuan dan memverifikasi apakah data yang disinkronkan sesuai harapan.

    • Terapkan tugas.

      Setelah tugas lulus pengujian, jika tugas perlu dijalankan secara berkala, klik tombol image di bagian atas halaman pengeditan node untuk menerapkan tugas ke lingkungan produksi. Untuk informasi lebih lanjut tentang penerapan tugas, lihat Terapkan tugas.

    Batasan

    • Tugas sinkronisasi batch tabel tunggal hanya dapat dikonfigurasi di Data Studio.

    • Beberapa sumber data tidak mendukung mode wizard untuk mengonfigurasi tugas sinkronisasi batch tabel tunggal.

      Setelah memilih sumber data, jika sistem menunjukkan bahwa sumber data saat ini tidak mendukung mode wizard, klik ikon image.png di bilah alat untuk beralih ke mode skrip dan lanjutkan mengonfigurasi tugas. Untuk informasi lebih lanjut, lihat Konfigurasi mode skrip.

    • Mode wizard memiliki kurva pembelajaran rendah tetapi tidak mendukung beberapa fitur lanjutan. Untuk manajemen konfigurasi yang lebih granular, klik ikon konversi-ke-skrip di bilah alat untuk beralih ke mode skrip.

    • Tugas sinkronisasi batch tabel tunggal dalam mode wizard mendukung konfigurasi sinkronisasi untuk satu tabel dan sebagian sinkronisasi database dan tabel ter-shard (sinkronisasi database dan tabel ter-shard hanya didukung untuk jenis sumber data tertentu dan memerlukan skema tabel yang konsisten). Fitur ini tidak mendukung sinkronisasi basis data penuh (sinkronisasi massal skema dan data tabel). Untuk sinkronisasi basis data penuh, lihat Tugas sinkronisasi batch basis data penuh.

    • Tugas sinkronisasi batch tidak dapat langsung dikonversi menjadi tugas sinkronisasi real-time. Jika Anda memerlukan sinkronisasi data real-time, buat node tugas sinkronisasi real-time tabel tunggal.

    • Jika muncul pesan bahwa nama node terlalu panjang saat menerapkan tugas, ubah nama node di konfigurasi lanjutan pada halaman penerapan. Pastikan nama tidak melebihi 128 karakter.

    Langkah berikutnya

    Setelah tugas diterapkan, buka Operation Center di lingkungan produksi untuk melihat tugas terjadwal. Untuk informasi lebih lanjut tentang menjalankan, mengelola, dan memantau tugas Data Integration, lihat O&M tugas Data Integration.

    Referensi