全部产品
Search

搜索本产品

    DataWorks：Sinkronisasi offline seluruh database Hologres ke MaxCompute

    文档中心

    DataWorks：Sinkronisasi offline seluruh database Hologres ke MaxCompute

    更新时间：Oct 29, 2025

    Data Integration mendukung sinkronisasi offline seluruh database dari sumber seperti AnalyticDB for MySQL 3.0, ClickHouse, Hologres, MySQL, dan PolarDB ke MaxCompute. Topik ini menjelaskan cara melakukan sinkronisasi offline satu kali untuk seluruh database menggunakan contoh sinkronisasi database Hologres ke MaxCompute.

    Prasyarat

    Keterbatasan

    • Fitur ini tidak mendukung sumber data MaxCompute yang menggunakan sintaks skema tingkat penyewa.

    • Sinkronisasi data sumber ke tabel eksternal MaxCompute tidak didukung.

    Prosedur

    I. Pilih jenis tugas sinkronisasi

    1. Buka halaman Data Integration.

      Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih Wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Integration > Data Integration. Di halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Integration.

    2. Di panel navigasi kiri, klik Sync Task. Di bagian atas halaman, klik Create Sync Task. Konfigurasikan informasi dasar berikut:

      • Source and Destination: Hologres → MaxCompute

      • New Task Name: Masukkan nama untuk tugas sinkronisasi.

      • Sync Type: Database Offline.

      • Untuk Sync Steps, pilih Full Synchronization dan Incremental Synchronization.

    II. Konfigurasikan jaringan dan sumber daya

    1. Di bagian Network and Resource Configuration, pilih Resource Group untuk tugas sinkronisasi. Anda juga dapat menetapkan CU di bawah Task Resource Usage.

    2. Tetapkan Source Data Source ke sumber data Hologres dan Destination Data Source ke sumber data MaxCompute. Lalu, klik Test Connectivity.image

    3. Setelah Anda mengonfirmasi bahwa sumber data sumber dan tujuan terhubung, klik Next.

    III. Pilih database dan tabel untuk disinkronkan

    Di area Database dan Tabel Sumber, pilih tabel untuk disinkronkan dari sumber data sumber. Klik ikon image untuk memindahkan tabel ke daftar Database dan Tabel Terpilih.

    image

    IV. Tetapkan kontrol sinkronisasi penuh dan inkremental

    1. Konfigurasikan jenis sinkronisasi penuh dan inkremental untuk tugas.

      • Jika Anda memilih Full Sync dan Incremental Sync di Sync Step, tugas secara default akan menjadi sinkronisasi penuh satu kali dan sinkronisasi inkremental berulang. Pengaturan ini tidak dapat diubah.

      • Jika Anda memilih Full Sync di Sync Step, Anda dapat mengonfigurasi tugas untuk sinkronisasi penuh satu kali atau sinkronisasi penuh berulang.

      • Jika Anda memilih Incremental Sync di Sync Step, Anda dapat mengonfigurasi tugas sebagai sinkronisasi inkremental satu kali atau berulang.

        Catatan

        Langkah-langkah berikut menggunakan tugas sinkronisasi penuh satu kali dan sinkronisasi inkremental berulang sebagai contoh.

    2. Konfigurasikan parameter penjadwalan berulang.

      Jika Anda ingin tugas berjalan pada jadwal berulang, klik Recurring Schedule Parameters.

    V. Pemetaan ke tabel tujuan

    Setelah Anda memilih tabel untuk disinkronkan di langkah sebelumnya, mereka secara otomatis ditampilkan di halaman ini. Tabel tujuan memiliki status 'pemetaan perlu diperbarui'. Anda harus menentukan pemetaan antara tabel sumber dan tabel tujuan, yang menentukan bagaimana data dibaca dari tabel sumber dan ditulis ke tabel tujuan. Lalu, klik Refresh Mapping untuk melanjutkan. Anda dapat memperbarui pemetaan segera atau menyesuaikan aturan tabel tujuan terlebih dahulu.

    Catatan

    • Anda dapat memilih tabel untuk disinkronkan dan klik Batch Refresh Mapping. Jika tidak ada aturan pemetaan yang dikonfigurasi, aturan penamaan tabel default adalah ${SourceSchemaName}_${TableName}. Jika tabel dengan nama yang sama tidak ada di tujuan, tabel tersebut akan dibuat secara otomatis.

    • Karena ini adalah jadwal berulang, Anda harus menentukan propertinya. Properti ini mencakup Scheduling Cycle, Scheduling Time, dan Scheduling Resource Group. Konfigurasi penjadwalan untuk tugas sinkronisasi ini sama dengan konfigurasi penjadwalan node dalam Pengembangan Data. Untuk informasi lebih lanjut, lihat Penjadwalan Node.

    • Tentukan klausa WHERE untuk Incremental Condition untuk menyaring data sumber. Masukkan hanya isi klausa, bukan kata kunci WHERE. Jika jadwal berulang diaktifkan, Anda dapat menggunakan variabel parameter sistem.

    • Di kolom Custom Destination Table Name Mapping, klik Edit untuk menyesuaikan aturan penamaan tabel tujuan.

      Anda dapat menggunakan variabel bawaan dan string yang dimasukkan secara manual untuk membuat nama tabel tujuan. Anda juga dapat mengedit variabel bawaan. Misalnya, Anda dapat membuat aturan penamaan tabel baru yang menambahkan akhiran ke nama tabel sumber untuk membentuk nama tabel tujuan.

    1. Edit pemetaan tipe bidang

    Tugas sinkronisasi memetakan tipe bidang sumber ke tipe bidang tujuan secara default. Untuk menyesuaikan pemetaan ini, klik Edit Field Type Mapping di sudut kanan atas tabel. Setelah Anda mengonfigurasi pemetaan, klik Apply And Refresh Mapping.

    2. Edit skema tabel tujuan dan tetapkan nilai bidang

    Jika tabel tujuan memiliki status To Be Created, Anda dapat menambahkan bidang ke skemanya. Ikuti langkah-langkah berikut:

    1. Tambahkan bidang ke tabel tujuan.

      • Untuk menambahkan bidang ke tabel tunggal, klik tombol image.png di kolom Target Table Name.

      • Untuk menambahkan bidang secara batch, pilih semua tabel untuk disinkronkan. Di bagian bawah tabel, pilih Batch Modify > Destination Table Schema - Batch Modify And Add Fields.

    2. Tetapkan nilai ke bidang. Anda dapat menggunakan operasi berikut untuk menetapkan nilai ke bidang yang baru saja ditambahkan.

      • Untuk menetapkan nilai ke tabel tunggal: Di kolom Destination Table Field Assignment, klik Configure.

      • Untuk menetapkan nilai secara batch, di bagian bawah daftar, pilih Batch Modify > Destination Table Field Assignment untuk menetapkan nilai ke bidang identik di beberapa tabel tujuan.

      Catatan

      Anda dapat menetapkan konstanta atau variabel. Klik ikon image untuk beralih antara mode penetapan.

    3. Sesuaikan parameter lanjutan

    Untuk kontrol detail halus atas tugas, klik Configure di kolom Customize Advanced Parameters.

    Penting

    Ubah parameter ini hanya jika Anda sepenuhnya memahami apa yang mereka lakukan. Pengaturan yang salah dapat menyebabkan kesalahan tak terduga atau masalah kualitas data.

    VI. Konfigurasikan parameter lanjutan

    Tugas sinkronisasi menyediakan beberapa parameter yang dapat Anda ubah sesuai kebutuhan. Misalnya, Anda dapat membatasi jumlah maksimum koneksi untuk mencegah tugas sinkronisasi memberikan tekanan terlalu besar pada database produksi Anda.

    Catatan

    Ubah parameter ini hanya jika Anda sepenuhnya memahami apa yang mereka lakukan. Pengaturan yang salah dapat menyebabkan kesalahan tak terduga atau masalah kualitas data.

    1. Di sudut kanan atas halaman, klik Konfigurasi Parameter Lanjutan untuk pergi ke halaman konfigurasi parameter lanjutan.

    2. Di halaman Konfigurasi Parameter Lanjutan, ubah nilai parameter.

    VII. Konfigurasikan grup sumber daya

    Di sudut kanan atas halaman, klik Resource Group Configuration untuk melihat atau beralih grup sumber daya untuk tugas saat ini.

    VIII. Jalankan tugas sinkronisasi

    1. Setelah Anda menyelesaikan konfigurasi, klik Complete Configuration di bagian bawah halaman.

    2. Di halaman Data Integration > Sync Task, temukan tugas sinkronisasi yang dibuat dan klik Start di kolom Actions.

    3. Di Task List, klik Name/ID tugas untuk melihat detail eksekusi.

    IX. Konfigurasikan alarm

    Setelah tugas berjalan, pekerjaan terjadwal dihasilkan di Pusat Operasi. Untuk mencegah kesalahan tugas menyebabkan latensi sinkronisasi data, Anda dapat menetapkan kebijakan alarm untuk tugas sinkronisasi.

    1. Di Task List, temukan tugas sinkronisasi yang sedang berjalan. Di kolom Tindakan, pilih More > Edit untuk membuka halaman pengeditan tugas.

    2. Klik Next. Lalu, klik Alarm Configuration di sudut kanan atas halaman untuk membuka halaman pengaturan alarm.

    3. Di kolom Scheduling Information, klik pekerjaan terjadwal untuk membuka halaman detail tugas di Pusat Operasi dan ambil Task ID.

    4. Di panel navigasi di sebelah kiri Pusat Operasi, pilih Task Monitoring > Monitoring Alarms > Rule Management untuk pergi ke halaman Manajemen Aturan.

    5. Klik Create Custom Rule dan tetapkan Rule Object, Trigger Method, dan Alarm Behavior. Untuk informasi lebih lanjut, lihat Manajemen aturan.

      Di bidang Rule Object, cari tugas target menggunakan ID Tugas yang diperoleh dan tetapkan alarm.

    O&M tugas sinkronisasi

    Lihat status tugas yang sedang berjalan

    Setelah membuat tugas sinkronisasi, Anda dapat melihat daftar tugas sinkronisasi yang telah dibuat beserta informasi dasarnya di halaman Tugas Sinkronisasi.

    image

    • Di kolom Tindakan, Anda dapat Start atau Stop tugas sinkronisasi. Di bawah Lainnya, Anda juga dapat melakukan operasi lain seperti Edit dan View.

    • Untuk tugas yang sedang berjalan, Anda dapat melihat statusnya di bagian Execution Overview. Anda juga dapat mengklik area ikhtisar tugas untuk melihat detail eksekusinya.

      image

      Untuk tugas sinkronisasi offline seluruh database dari Hologres ke MaxCompute:

      • Jika langkah sinkronisasi tugas adalah Full Synchronization, bagian ini menampilkan migrasi skema dan sinkronisasi penuh.

      • Jika langkah sinkronisasi untuk tugas Anda adalah Incremental Synchronization, langkah migrasi skema dan sinkronisasi inkremental muncul di sini.

      • Jika tugas Anda melakukan Full Synchronization dan Incremental Synchronization, status untuk migrasi skema, sinkronisasi penuh, dan sinkronisasi inkremental ditampilkan di sini.

    Jalankan ulang tugas

    • Klik Rerun untuk menjalankan ulang tugas tanpa mengubah konfigurasi tugas.

      Efek: Operasi ini menjalankan ulang tugas satu kali atau memperbarui properti tugas berulang.

    • Untuk menjalankan ulang tugas setelah memodifikasinya dengan menambahkan atau menghapus tabel, edit tugas dan klik Complete. Status tugas kemudian berubah menjadi Apply Update. Klik Apply Update untuk segera memicu jalankan ulang tugas yang dimodifikasi.

      Efek: Hanya tabel baru yang disinkronkan. Tabel yang sebelumnya disinkronkan tidak disinkronkan lagi.

    • Setelah Anda mengedit tugas (misalnya, dengan mengubah nama tabel tujuan atau beralih ke tabel tujuan yang berbeda) dan klik Selesai, operasi yang tersedia untuk tugas berubah menjadi Apply Update. Klik Apply Update untuk segera memicu jalankan ulang tugas yang dimodifikasi.

      Efek: Tabel yang dimodifikasi disinkronkan. Tabel yang tidak dimodifikasi tidak disinkronkan lagi.

    Skenario Pengembangan Data

    Jika Anda memiliki dependensi data hilir dan perlu melakukan operasi pengembangan data, Anda dapat menetapkan dependensi hulu dan hilir untuk node sesuai dengan penjelasan dalam Penjadwalan Node. Informasi node tugas berulang yang sesuai dapat dilihat di kolom Recurring Configuration.

    image