Menyinkronkan seluruh database MySQL ke MaxCompute secara real-time - DataWorks

Data Integration memungkinkan Anda menyinkronkan seluruh database secara real-time dari sumber seperti ApsaraDB for OceanBase, MySQL, Oracle, PolarDB, dan PolarDB-X 2.0 ke MaxCompute. Topik ini menjelaskan cara melakukan sinkronisasi penuh dan inkremental dari seluruh database MySQL ke tabel Delta MaxCompute menggunakan contoh penyinkronan data dari MySQL ke MaxCompute.

Latar Belakang

Tugas Data Integration yang menyinkronkan seluruh database MySQL ke MaxCompute secara real-time pertama-tama menyinkronkan data penuh dari database MySQL sumber ke tabel Delta MaxCompute, kemudian menyinkronkan perubahan data inkremental secara real-time. Tujuan dapat berupa tabel partisi atau non-partisi. Data yang disinkronkan hampir real-time dengan latensi tingkat menit. Anda dapat menanyakan data inkremental yang disinkronkan ke tabel Delta dalam waktu kurang dari lima menit.

Untuk informasi lebih lanjut tentang tabel Delta MaxCompute, lihat Gudang data hampir real-time.

Prasyarat

Anda telah membeli Grup sumber daya tanpa server atau grup sumber daya eksklusif untuk Integrasi Data.
Anda telah membuat sumber data MySQL dan sumber data MaxCompute. Untuk informasi lebih lanjut, lihat Konfigurasi Sumber Data.
- MySQL: Untuk sumber data MySQL, Anda harus mengaktifkan binary logging. Untuk informasi lebih lanjut, lihat Persiapkan sumber data MySQL.
- MaxCompute: Untuk sumber data MaxCompute, Anda harus mengaktifkan edisi tipe data MaxCompute V2.0 sebelum menjalankan tugas sinkronisasi. Edisi tipe data MaxCompute V2.0 mendukung tipe data DECIMAL. Untuk informasi lebih lanjut, lihat Tipe data MaxCompute V2.0.
Grup sumber daya dan sumber data harus terhubung melalui jaringan. Untuk informasi lebih lanjut, lihat Ikhtisar solusi koneksi jaringan.

Keterbatasan

Fitur ini tidak mendukung sumber data MaxCompute yang menggunakan sintaks skema tingkat penyewa.
Sinkronisasi data sumber ke tabel eksternal MaxCompute tidak didukung.

Prosedur

Langkah 1: Pilih jenis tugas sinkronisasi

Pergi ke halaman Data Integration.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi di sebelah kiri, pilih Data Integration > Data Integration. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Integration.
Di panel navigasi di sebelah kiri, klik Sync Task. Pada halaman yang muncul, klik Create Sync Task dan konfigurasikan parameter berikut.
- Source and Destination: MySQL→MaxCompute
- Task Name: Masukkan nama kustom untuk tugas sinkronisasi.
- Synchronization Type: Sinkronisasi Real-time Seluruh Database.
- Sync Steps: Pilih Full Synchronization dan Incremental Synchronization.

Langkah 2: Konfigurasikan pengaturan jaringan dan sumber daya

Di bagian Network and Resource Settings, pilih Resource Group untuk tugas sinkronisasi. Anda juga dapat mengalokasikan CU ke tugas di bagian Task Resource Usage.
Untuk Source Data Source, pilih sumber data MySQL. Untuk Destination Data Source, pilih sumber data MaxCompute. Kemudian, klik Test Connectivity.
Setelah tes konektivitas berhasil untuk kedua sumber data, klik Next.

Langkah 3: Pilih database dan tabel untuk disinkronkan

Pilih tabel sumber untuk disinkronkan dari area Database dan Tabel Sumber dan klik ikon untuk memindahkannya ke area Database dan Tabel Terpilih di sebelah kanan.

Select specific tables:
- Di area Database dan Tabel Sumber, masukkan kata kunci di bidang Database Filter dan Table Filter untuk menemukan database dan tabel yang ingin Anda sinkronkan. Pilih database dan tabel tersebut dan klik ikon untuk memindahkannya ke area Selected Databases and Tables.
- Di area Selected Databases and Tables, masukkan kata kunci di bidang Database Filter dan Table Filter untuk menemukan database dan tabel yang tidak ingin Anda sinkronkan. Pilih database dan tabel tersebut dan klik ikon untuk memindahkannya kembali ke area Source Databases and Tables.
Select tables using regular expressions (supports adding or removing tables while the task is running):
Masukkan ekspresi reguler di bidang Database Filter dan Table Filter untuk menyaring tabel. Klik Confirm Selection untuk mengonfirmasi database dan tabel yang ingin Anda sinkronkan.
Catatan
Sebagai contoh, untuk menyaring database dengan awalan a dan tabel dengan awalan order, masukkan a.* di kotak Database Filter dan order.* di kotak Table Filter.

Langkah 4: Peta tabel tujuan

Setelah Anda memilih tabel dari mana Anda ingin menyinkronkan data, tabel yang dipilih secara otomatis ditampilkan di bagian Aturan Pemetaan untuk Tabel Tujuan. Properti tabel tujuan menunggu untuk dipetakan. Anda harus secara manual mendefinisikan pemetaan antara tabel sumber dan tabel tujuan untuk menentukan hubungan pembacaan dan penulisan data. Kemudian, Anda dapat mengklik Refresh di kolom Tindakan. Anda dapat langsung menyegarkan pemetaan antara tabel sumber dan tabel tujuan. Anda juga dapat menyegarkan pemetaan setelah mengonfigurasi pengaturan terkait tabel tujuan.

Catatan

Anda dapat memilih tabel untuk disinkronkan dan mengklik Batch Refresh Mappings. Jika tidak ada aturan pemetaan yang dikonfigurasikan, aturan penamaan default untuk tabel tujuan adalah ${source_database_name}_${table_name}. Jika tabel tujuan dengan nama yang dihasilkan tidak ada, tabel tersebut akan dibuat secara otomatis.
Di kolom Custom Target Table Name Mapping, Anda dapat mengklik Edit untuk menyesuaikan aturan penamaan untuk tabel tujuan.
Anda dapat menggabungkan variabel bawaan dengan string kustom untuk membuat nama tabel tujuan. Anda juga dapat mengedit variabel bawaan. Sebagai contoh, Anda dapat membuat aturan penamaan yang menambahkan akhiran ke nama tabel sumber.
Untuk menyinkronkan data ke tabel Delta MaxCompute, Anda harus menentukan kunci utama untuk tabel tujuan. Secara default, kunci utama tabel sumber digunakan. Jika tabel sumber tidak memiliki kunci utama, Anda dapat menyesuaikan kolom kunci utama. Tugas sinkronisasi tidak dapat disimpan jika Anda tidak menentukan kunci utama.
Jumlah bucket default untuk tabel Delta yang dibuat secara otomatis adalah 16. Anda dapat mengubah jumlah ini di pengaturan Number of Table Buckets untuk pemetaan tabel tujuan.
Anda tidak dapat mengubah jumlah bucket untuk tabel yang sudah ada. Jumlah bucket menentukan bagaimana data tabel dibagi. Operasi seperti kueri, tulis, dan penggabungan data dapat dieksekusi secara bersamaan pada tingkat bucket. Namun, jumlah bucket yang berlebihan dapat menciptakan banyak file kecil. Oleh karena itu, Anda harus menetapkan nilai ini sesuai kebutuhan. Untuk informasi lebih lanjut, lihat Operasi tabel dan Penyimpanan data dan sharding.
Periode query default untuk data historis di tabel Delta yang dibuat secara otomatis adalah 0 jam. Anda dapat mengubah periode ini di pengaturan Queryable Period For Historical Data untuk pemetaan tabel tujuan.
Anda tidak dapat memodifikasi periode retensi time travel untuk tabel yang sudah ada. Pengaturan ini menentukan rentang waktu selama Anda dapat menanyakan versi historis data. Anda tidak dapat menanyakan data historis yang lebih tua dari periode yang ditentukan. Periode retensi yang lebih lama menyimpan lebih banyak data historis, yang meningkatkan biaya penyimpanan. Oleh karena itu, Anda harus mengonfigurasi pengaturan ini sesuai kebutuhan. Untuk informasi lebih lanjut, lihat Operasi tabel dan Time travel.

a. Ubah pemetaan tipe data untuk bidang

Pemetaan default ada antara tipe data bidang sumber dan tipe data bidang tujuan. Anda dapat mengklik Edit Mapping of Field Data Types di sudut kanan atas bagian Aturan Pemetaan untuk Tabel Tujuan untuk mengonfigurasi pemetaan tipe data antara bidang sumber dan bidang tujuan berdasarkan kebutuhan bisnis Anda. Setelah konfigurasi selesai, klik Apply and Refresh Mapping.

b. Ubah skema tabel tujuan untuk menambahkan bidang ke tabel dan memberikan nilai ke bidang

Jika tabel tujuan berada dalam status to-be-created, Anda dapat melakukan langkah-langkah berikut untuk menambahkan bidang ke tabel dan memberikan nilai ke bidang:

Tambahkan bidang ke satu atau beberapa tabel tujuan.
- Tambahkan bidang ke tabel tujuan tunggal: Temukan tabel tujuan ke mana Anda ingin menambahkan bidang dan klik ikon di kolom Destination Table Name. Di kotak dialog yang muncul, tambahkan bidang.
- Tambahkan bidang ke beberapa tabel tujuan sekaligus: Pilih tabel tujuan ke mana Anda ingin menambahkan bidang sekaligus, klik Batch Modify di bagian bawah halaman, dan kemudian klik Destination Table Schema - Batch Modify and Add Field.
Berikan nilai ke bidang. Anda dapat melakukan salah satu operasi berikut untuk memberikan nilai ke bidang:
- Berikan nilai ke bidang yang ditambahkan ke tabel tujuan tunggal: Temukan tabel tujuan di mana Anda ingin memberikan nilai ke bidang yang baru ditambahkan dan klik Configure di kolom Value assignment. Di kotak dialog Bidang Tambahan, berikan nilai ke bidang.
- Berikan nilai ke bidang yang ditambahkan ke beberapa tabel tujuan sekaligus: Pilih tabel tujuan di mana Anda ingin memberikan nilai ke bidang yang baru ditambahkan, klik Batch Modify di bagian bawah halaman, dan kemudian klik Value assignment untuk memberikan nilai ke bidang yang sama di tabel tujuan yang dipilih sekaligus.
Catatan
Anda dapat mengklik ikon untuk beralih metode penugasan nilai dan memberikan konstanta dan variabel ke bidang yang ditambahkan ke tabel tujuan.

c. Konfigurasikan aturan pemrosesan DML

Data Integration menyediakan aturan pemrosesan DML default. Anda juga dapat mengonfigurasi aturan pemrosesan DML untuk tabel tujuan berdasarkan kebutuhan bisnis Anda.

Konfigurasikan aturan pemrosesan DML untuk tabel tujuan tunggal: Temukan tabel tujuan untuk mana Anda ingin mengonfigurasi aturan pemrosesan DML dan klik Configure di kolom Configure DML Rule untuk mengonfigurasi aturan pemrosesan DML untuk tabel tersebut.
Konfigurasikan aturan pemrosesan DML untuk beberapa tabel tujuan sekaligus: Pilih tabel tujuan untuk mana Anda ingin mengonfigurasi aturan pemrosesan DML, klik Batch Modify di bagian bawah halaman, dan kemudian klik Configure DML Rule.

4. Tetapkan kunci shard sumber

Di kolom **Sharding Sumber**, Anda dapat memilih bidang dari tabel sumber atau memilih No Sharding.

5. Lakukan sinkronisasi penuh

Jika Anda memilih Full Synchronization di bagian Sync Steps ketika Anda memilih jenis tugas sinkronisasi, Anda dapat menonaktifkan sinkronisasi penuh untuk tabel tertentu di halaman ini.

5. Konfigurasikan aturan peringatan

Untuk mencegah kegagalan tugas sinkronisasi menyebabkan latensi pada sinkronisasi data bisnis, Anda dapat mengonfigurasi aturan peringatan yang berbeda untuk tugas sinkronisasi.

Di sudut kanan atas halaman, klik Configure Alert Rule untuk pergi ke panel Configure Alert Rule.
Di panel Konfigurasi Aturan Peringatan, klik Add Alert Rule. Di kotak dialog Tambah Aturan Peringatan, konfigurasikan parameter untuk mengonfigurasikan aturan peringatan.
Catatan
Aturan peringatan yang Anda konfigurasikan di langkah ini berlaku untuk sub-tugas sinkronisasi real-time yang akan dihasilkan oleh tugas sinkronisasi. Setelah konfigurasi tugas sinkronisasi selesai, Anda dapat merujuk ke Kelola tugas sinkronisasi real-time untuk pergi ke halaman Tugas Sinkronisasi Real-time dan memodifikasi aturan peringatan yang dikonfigurasikan untuk sub-tugas sinkronisasi real-time.
Kelola aturan peringatan.
Anda dapat mengaktifkan atau menonaktifkan aturan peringatan yang dibuat. Anda juga dapat menentukan penerima peringatan yang berbeda berdasarkan tingkat keparahan peringatan.

6. Konfigurasikan parameter lanjutan

Anda dapat mengubah nilai parameter tertentu yang dikonfigurasikan untuk tugas sinkronisasi berdasarkan kebutuhan bisnis Anda. Sebagai contoh, Anda dapat menentukan nilai yang sesuai untuk parameter Koneksi baca maksimum untuk mencegah tugas sinkronisasi saat ini memberikan tekanan berlebih pada database sumber dan produksi data terpengaruh.

Catatan

Untuk mencegah kesalahan tak terduga atau masalah kualitas data, kami sarankan Anda memahami arti parameter sebelum mengubah nilai parameter.

Di sudut kanan atas halaman konfigurasi, klik Konfigurasikan Parameter Lanjutan.
Di panel Konfigurasikan Parameter Lanjutan, ubah nilai parameter yang diinginkan.

7. Konfigurasikan aturan pemrosesan DDL

Operasi DDL mungkin dilakukan pada sumber. Anda dapat mengklik Configure DDL Capability di sudut kanan atas halaman untuk mengonfigurasi aturan untuk memproses pesan DDL dari sumber berdasarkan kebutuhan bisnis Anda.

Catatan

Untuk informasi lebih lanjut, lihat Konfigurasikan aturan untuk memproses pesan DDL.

8. Lihat dan ubah grup sumber daya

Anda dapat mengklik Configure Resource Group di sudut kanan atas halaman untuk melihat dan mengubah grup sumber daya yang digunakan untuk menjalankan tugas sinkronisasi saat ini.

9. Jalankan tugas sinkronisasi

Setelah konfigurasi tugas sinkronisasi selesai, klik Complete di bagian bawah halaman.
Di bagian Nodes halaman Data Integration, temukan tugas sinkronisasi yang dibuat dan klik Start di kolom Actions.
Klik name or ID tugas sinkronisasi di bagian Tasks dan lihat proses rinci pelaksanaan tugas sinkronisasi.

O&M Tugas Sinkronisasi

Lihat status tugas yang sedang berjalan

Setelah Anda membuat tugas sinkronisasi, Anda dapat melihat daftar tugas sinkronisasi Anda dan informasi dasarnya di halaman tugas sinkronisasi.

Di kolom **Tindakan**, Anda dapat Start atau Stop tugas sinkronisasi. Anda juga dapat melakukan operasi lain, seperti Edit dan View, dari menu **Lainnya**.
Untuk tugas yang sedang berjalan, Anda dapat melihat status operasional dasar mereka di bagian Execution Overview. Anda juga dapat mengklik area di ikhtisar untuk melihat detail eksekusi.
Tugas sinkronisasi real-time yang menyinkronkan seluruh database MySQL ke MaxCompute terdiri dari tiga langkah berikut:
- Migrasi skema: Langkah ini mencakup metode pembuatan tabel tujuan, yang dapat berupa tabel yang sudah ada atau tabel yang dibuat secara otomatis. Jika tabel dibuat secara otomatis, pernyataan DDL akan ditampilkan.
- Inisialisasi penuh: Langkah ini mencakup informasi tentang tabel untuk sinkronisasi offline, kemajuan sinkronisasi, dan jumlah catatan yang ditulis.
- Sinkronisasi data real-time: Langkah ini mencakup statistik sinkronisasi real-time, seperti kemajuan real-time, catatan DDL, catatan DML, dan informasi peringatan.

Jalankan ulang tugas sinkronisasi

Dalam beberapa kasus khusus, jika Anda menambahkan tabel ke sumber atau menghapus tabel dari sumber, atau mengubah skema atau nama tabel tujuan, Anda dapat mengklik Lainnya di kolom Actions tugas sinkronisasi dan kemudian klik Rerun untuk menjalankan ulang tugas setelah perubahan. Selama proses jalankan ulang, tugas sinkronisasi hanya menyinkronkan data dari tabel yang baru ditambahkan ke tujuan atau hanya dari tabel sumber yang dipetakan ke tabel tujuan yang skemanya atau namanya diubah.

Jika Anda ingin menjalankan ulang tugas sinkronisasi tanpa memodifikasi konfigurasi tugas, klik Lainnya di kolom Tindakan dan kemudian klik Rerun untuk menjalankan ulang tugas untuk melakukan sinkronisasi penuh dan sinkronisasi inkremental lagi.
Jika Anda ingin menjalankan ulang tugas sinkronisasi setelah Anda menambahkan tabel ke tugas atau menghapus tabel dari tugas, klik Complete setelah perubahan. Dalam hal ini, Apply Updates ditampilkan di kolom Tindakan tugas sinkronisasi. Klik Apply Updates untuk memicu sistem menjalankan ulang tugas sinkronisasi. Selama proses jalankan ulang, tugas sinkronisasi menyinkronkan data dari tabel yang baru ditambahkan ke tujuan. Data di tabel asli tidak disinkronkan lagi.