Sinkronisasi offline seluruh database MySQL ke MaxCompute - DataWorks

Data Integration mendukung sinkronisasi offline seluruh database dari sumber seperti AnalyticDB for MySQL 3.0, ClickHouse, Hologres, MySQL, dan PolarDB ke MaxCompute. Topik ini menjelaskan cara melakukan sinkronisasi offline satu kali untuk seluruh database MySQL ke MaxCompute.

Prasyarat

Anda telah membeli Serverless resource group atau exclusive resource group for Data Integration.
Anda telah membuat sumber data MySQL dan sumber data MaxCompute. Untuk informasi selengkapnya, lihat Data Source Configuration.
Anda telah menetapkan koneksi jaringan antara resource group dan sumber data. Untuk informasi selengkapnya, lihat Overview of network connection solutions.

Batasan

Sinkronisasi data sumber ke tabel eksternal MaxCompute tidak didukung.

Prosedur

Langkah 1: Pilih tipe tugas sinkronisasi

Buka halaman Data Integration.
Masuk ke DataWorks console. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Integration > Data Integration. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down lalu klik Go to Data Integration.
Di panel navigasi kiri, klik Synchronization Task. Di bagian atas halaman, klik Create Synchronization Task. Pada kotak dialog yang terbuka, konfigurasikan parameter dasar berikut.
- Source Type: MySQL
- Destination Type: MaxCompute
- Task Name: Masukkan nama untuk tugas sinkronisasi.
- Task Type: Full Database Offline.
- Sync Procedure: pilih Full initialization dan Incremental Synchronization.

Langkah 2: Konfigurasi jaringan dan resource

Pada bagian Network and Resource Configuration, pilih Resource Group untuk tugas sinkronisasi dan tentukan jumlah CU untuk Task Resource Usage.
Atur Source ke sumber data MySQL Anda dan Destination ke sumber data MaxCompute Anda, lalu klik Test Connectivity.
Setelah pengujian konektivitas untuk sumber data dan tujuan berhasil, klik Next.

Langkah 3: Pilih database dan tabel yang akan disinkronkan

Pada area Source Table, pilih tabel yang akan disinkronkan dari sumber data. Klik ikon untuk memindahkan tabel ke daftar Selected Tables.

Langkah 4: Atur properti tabel tujuan

Klik tombol Configure di sebelah Partition Initialization Configuration untuk mengatur konfigurasi partisi awal untuk semua tabel tujuan baru. Konfigurasi ini akan menggantikan pengaturan partisi untuk tabel-tabel tersebut.

Langkah 5: Konfigurasi kontrol sinkronisasi penuh dan inkremental

Konfigurasikan tipe sinkronisasi penuh dan inkremental untuk tugas.
- Jika Anda memilih kedua opsi Full initialization dan Incremental synchronization pada Synchronization Mode, tugas secara default akan menjalankan sinkronisasi penuh satu kali dan sinkronisasi inkremental berulang. Pengaturan ini tidak dapat diubah.
- Jika Anda memilih Full initialization pada Synchronization Mode, Anda dapat mengonfigurasi tugas untuk sinkronisasi penuh satu kali atau sinkronisasi penuh berulang.
- Jika Anda memilih Incremental synchronization pada Synchronization Mode, Anda dapat mengonfigurasi tugas sebagai sinkronisasi inkremental satu kali atau berulang.
  Catatan
  Langkah-langkah berikut menggunakan contoh tugas sinkronisasi penuh satu kali dan sinkronisasi inkremental berulang.
Konfigurasikan parameter penjadwalan berulang.
Jika Anda ingin tugas dijalankan secara berkala, klik Configure Scheduling Parameters for Periodical Scheduling.

Langkah 6: Konfigurasi pemetaan tabel tujuan

Setelah Anda memilih tabel yang akan disinkronkan pada langkah sebelumnya, tabel-tabel tersebut akan ditampilkan secara otomatis pada halaman ini. Tabel tujuan memiliki status 'mapping to be refreshed'. Anda harus menentukan pemetaan antara tabel sumber dan tabel tujuan, yang menentukan cara data dibaca dari tabel sumber dan ditulis ke tabel tujuan. Lalu, klik Refresh untuk melanjutkan. Anda dapat langsung merefresh pemetaan atau menyesuaikan aturan tabel tujuan terlebih dahulu.

Catatan

Anda dapat memilih tabel yang akan disinkronkan lalu klik Batch Refresh Mapping Results. Jika tidak ada aturan pemetaan yang dikonfigurasi, aturan penamaan tabel default adalah ${SourceDBName}_${TableName}. Jika tabel dengan nama yang sama belum ada di tujuan, tabel baru akan dibuat secara otomatis.
Karena tugas dijalankan sesuai jadwal, Anda harus mengonfigurasi properti penjadwalannya, seperti Scheduling Cycle, Time Properties, dan Resource Group for Scheduling. Tugas sinkronisasi ini menggunakan konfigurasi penjadwalan yang sama seperti node di Data Studio. Untuk informasi selengkapnya, lihat Node Scheduling.
Untuk Condition for Incremental Synchronization, masukkan isi klausa WHERE untuk memfilter data sumber. Jangan sertakan kata kunci WHERE. Jika penjadwalan berkala diaktifkan, Anda dapat menggunakan variabel parameter sistem.
Pada kolom Customize Mapping Rules, klik Edit untuk menyesuaikan aturan penamaan tabel tujuan.
Anda dapat menggunakan variabel bawaan dan string yang dimasukkan secara manual untuk membuat nama tabel tujuan. Anda juga dapat mengedit variabel bawaan tersebut. Misalnya, Anda dapat membuat aturan penamaan tabel baru yang menambahkan akhiran ke nama tabel sumber untuk membentuk nama tabel tujuan.

1. Edit pemetaan tipe data field

Tugas sinkronisasi secara default memetakan tipe field sumber ke tipe field tujuan. Untuk menyesuaikan pemetaan ini, klik Edit Mapping of Field Data Types di pojok kanan atas tabel. Setelah mengonfigurasi pemetaan, klik Apply and Refresh Mapping.

2. Edit skema tabel tujuan dan tetapkan nilai field

Jika tabel tujuan memiliki status To Be Created, Anda dapat menambahkan field ke skemanya. Ikuti langkah-langkah berikut:

Tambahkan field ke tabel tujuan.
- Untuk menambahkan field ke satu tabel, klik tombol di kolom Target Table Name.
- Untuk menambahkan field secara batch, pilih semua tabel yang akan disinkronkan. Di bagian bawah tabel, pilih Batch Modify > Destination Table Schema - Batch Modify and Add Field.
Tetapkan nilai ke field tersebut. Anda dapat menggunakan operasi berikut untuk menetapkan nilai ke field yang baru saja ditambahkan.
- Untuk menetapkan nilai ke satu tabel: Di kolom Destination Table Field Assignment, klik Configure.
- Untuk menetapkan nilai secara batch, di bagian bawah daftar, pilih Batch Modify > Destination Table Field Assignment untuk menetapkan nilai ke field yang identik di beberapa tabel tujuan.
Catatan
Anda dapat menetapkan konstanta atau variabel. Klik ikon untuk beralih antar mode penetapan nilai.

3. Parameter lanjutan kustom

Untuk kontrol detail halus terhadap tugas, klik Configure di kolom Custom Advanced Parameters.

Penting

Ubah parameter ini hanya jika Anda benar-benar memahami fungsinya. Pengaturan yang salah dapat menyebabkan error tak terduga atau masalah kualitas data.

4. Atur kolom pemisahan sumber

Dari daftar drop-down source shard key, pilih field dari tabel sumber atau pilih Not Split.

Langkah 7: Konfigurasi parameter lanjutan

Tugas sinkronisasi menyediakan beberapa parameter yang dapat Anda ubah sesuai kebutuhan. Misalnya, Anda dapat membatasi jumlah maksimum koneksi untuk mencegah tugas sinkronisasi memberikan tekanan berlebihan pada database produksi Anda.

Catatan

Ubah parameter ini hanya jika Anda benar-benar memahami fungsinya. Pengaturan yang salah dapat menyebabkan error tak terduga atau masalah kualitas data.

Di pojok kanan atas halaman, klik Configure Advanced Parameters untuk membuka halaman konfigurasi parameter lanjutan.
Pada halaman Configure Advanced Parameters, ubah nilai parameter.

Langkah 8: Konfigurasi resource group

Di pojok kanan atas halaman, klik Resource Group Configuration untuk melihat atau mengganti resource group untuk tugas saat ini.

Langkah 9: Jalankan tugas sinkronisasi

Setelah selesai mengonfigurasi, klik Complete di bagian bawah halaman.
Pada halaman Data Integration > Synchronization Task, temukan tugas sinkronisasi yang telah dibuat lalu klik Start di kolom Actions.
Di Tasks, klik Name/ID tugas untuk melihat detail eksekusi.

Langkah 10: Konfigurasi aturan peringatan

Setelah tugas dijalankan, pekerjaan terjadwal akan dibuat di Operation Center. Untuk mencegah error tugas menyebabkan latensi sinkronisasi data, Anda dapat mengatur kebijakan alarm untuk tugas sinkronisasi tersebut.

Di Tasks, temukan tugas sinkronisasi yang sedang berjalan. Di kolom Actions, pilih More > Edit untuk membuka halaman pengeditan tugas.
Klik Next. Lalu, klik Configure Alert Rule di pojok kanan atas halaman untuk membuka halaman pengaturan alarm.
Di kolom Scheduling Information, klik pekerjaan terjadwal untuk membuka halaman detail tugas di Operation Center dan ambil Task ID.
Di panel navigasi kiri Operation Center, pilih Node Alarm > Alarm > Rule Management untuk membuka halaman Rule Management.
Klik Create Custom Rule dan atur Rule Object, Trigger Condition, dan Alert Details. Untuk informasi selengkapnya, lihat Rule management.
Di kolom Rule Object, cari tugas target menggunakan Task ID yang diperoleh lalu atur peringatan.

O&M tugas sinkronisasi

Lihat status tugas

Setelah membuat tugas sinkronisasi, Anda dapat melihat daftar tugas yang telah dibuat beserta informasi dasarnya di halaman Sync Task.

Di kolom Actions, Anda dapat Start atau Stop tugas sinkronisasi. Klik More untuk melakukan operasi lain, seperti Edit dan View.
Anda dapat melihat status tugas yang sedang berjalan di bagian Execution Overview. Anda juga dapat mengklik area di ringkasan tersebut untuk melihat detail eksekusi.
Untuk tugas sinkronisasi offline yang menyinkronkan seluruh database MySQL ke MaxCompute:
- Jika Anda memilih Full initialization untuk langkah sinkronisasi, detail migrasi skema dan sinkronisasi penuh akan ditampilkan.
- Jika Anda memilih Incremental synchronization untuk langkah sinkronisasi, detail migrasi skema dan sinkronisasi inkremental akan ditampilkan.
- Jika Anda memilih Full initialization dan Incremental synchronization sebagai langkah sinkronisasi, detail migrasi skema, sinkronisasi penuh, dan sinkronisasi inkremental akan ditampilkan.

Jalankan ulang tugas

Klik Rerun untuk menjalankan ulang tugas tanpa mengubah konfigurasi tugas.
Efek: Operasi ini menjalankan ulang tugas satu kali atau memperbarui properti tugas berulang.
Untuk menjalankan ulang tugas setelah memodifikasinya dengan menambahkan atau menghapus tabel, edit tugas lalu klik Complete. Status tugas kemudian berubah menjadi Apply Update. Klik Apply Update untuk segera memicu jalankan ulang tugas yang telah dimodifikasi.
Efek: Hanya tabel baru yang disinkronkan. Tabel yang sebelumnya telah disinkronkan tidak disinkronkan lagi.
Setelah Anda mengedit tugas (misalnya, dengan mengubah nama tabel tujuan atau beralih ke tabel tujuan berbeda) dan mengklik Complete, operasi yang tersedia untuk tugas berubah menjadi Apply Update. Klik Apply Update untuk segera memicu jalankan ulang tugas yang telah dimodifikasi.
Efek: Tabel yang dimodifikasi disinkronkan. Tabel yang tidak dimodifikasi tidak disinkronkan lagi.