DataWorks：Sinkronisasi waktu nyata database MySQL ke Data Lake Formation

1. Pilih jenis tugas sinkronisasi

1. Pergi ke halaman Data Integration.

   Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih Wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Integration > Data Integration. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Integration.

2. Di panel navigasi kiri, klik Sync Tasks. Kemudian, klik Create Sync Task di bagian atas halaman untuk pergi ke halaman pembuatan tugas sinkronisasi. Konfigurasikan informasi dasar berikut:

   • Data Source And Destination: MySQL→Data Lake Formation

   • New Task Name: Tentukan nama kustom untuk tugas sinkronisasi.

   • Sync Type: Seluruh Database Waktu Nyata.

   • Sync Steps: Pilih Full Sync dan Incremental Sync.

2. Konfigurasikan jaringan dan sumber daya

1. Di bagian Network And Resource Configuration, pilih Resource Group untuk tugas sinkronisasi. Anda dapat mengalokasikan jumlah unit komputasi (CUs) untuk Task Resource Usage.

2. Untuk Source Data Source, pilih sumber data MySQL yang telah ditambahkan. Untuk Destination Data Source, pilih sumber data Data Lake Formation yang telah ditambahkan. Kemudian, klik Test Connectivity.

   

3. Setelah Anda mengonfirmasi bahwa kedua sumber data sumber dan tujuan terhubung, klik Next.

3. Pilih database dan tabel untuk disinkronkan

Filter database dan tabel yang ingin Anda sinkronkan berdasarkan Table Selection Method.

• Select Specific Databases And Tables:

  • Di bidang Database Filter dan Table Filter untuk database dan tabel sumber, Anda dapat memasukkan karakteristik nama database atau tabel untuk memfilter database dan tabel yang ingin Anda sinkronkan. Pilih semua database dan tabel yang ingin Anda sinkronkan dan klik ikon untuk memindahkannya ke bagian Selected Databases And Tables.

  • Di bidang Database Filter dan Table Filter untuk Selected Databases And Tables, Anda dapat memasukkan karakteristik nama database atau tabel untuk memfilter database dan tabel yang tidak ingin Anda sinkronkan. Pilih semua database dan tabel yang tidak ingin Anda sinkronkan dan klik ikon untuk memindahkannya ke bagian Source Databases And Tables.

• Use Regular Expressions To Select Tables (Support Adding Or Removing Tables By Regular Expressions During Runtime):

  Filter informasi tabel dengan menggunakan ekspresi reguler yang dikonfigurasi di bidang Database Filter dan Table Filter. Klik Confirm Selection untuk memilih database dan tabel yang ingin Anda sinkronkan.

  Catatan

  Sebagai contoh, untuk memfilter dan menyinkronkan database dengan nama yang dimulai dengan a dan tabel dengan nama yang dimulai dengan order, Anda dapat memasukkan di bidang Database Filter a.* Table Filtering dan order.* di bidang Filter Tabel.

4. Konfigurasikan pengaturan terkait tujuan

Setelah Anda memilih tabel dari mana Anda ingin menyinkronkan data, tabel yang dipilih akan otomatis ditampilkan di bagian Aturan Pemetaan untuk Tabel Tujuan. Properti tabel tujuan sedang menunggu untuk dipetakan. Anda harus secara manual mendefinisikan pemetaan antara tabel sumber dan tabel tujuan untuk menentukan hubungan pembacaan dan penulisan data. Kemudian, Anda dapat mengklik Refresh di kolom Tindakan. Anda dapat langsung menyegarkan pemetaan antara tabel sumber dan tabel tujuan. Anda juga dapat menyegarkan pemetaan setelah Anda mengonfigurasi pengaturan terkait tabel tujuan.

5. Konfigurasikan aturan peringatan

Untuk mencegah kegagalan tugas sinkronisasi menyebabkan latensi pada sinkronisasi data bisnis, Anda dapat mengonfigurasi aturan peringatan yang berbeda untuk tugas sinkronisasi.

1. Di sudut kanan atas halaman, klik Configure Alert Rule untuk pergi ke panel Configure Alert Rule.

2. Di panel Konfigurasikan Aturan Peringatan, klik Add Alert Rule. Di kotak dialog Tambah Aturan Peringatan, konfigurasikan parameter untuk mengonfigurasi aturan peringatan.

   Catatan

   Aturan peringatan yang Anda konfigurasikan pada langkah ini berlaku untuk sub-tugas sinkronisasi waktu nyata yang akan dihasilkan oleh tugas sinkronisasi. Setelah konfigurasi tugas sinkronisasi selesai, Anda dapat merujuk ke Kelola Tugas Sinkronisasi Waktu Nyata untuk pergi ke halaman Tugas Sinkronisasi Waktu Nyata dan memodifikasi aturan peringatan yang dikonfigurasikan untuk sub-tugas sinkronisasi waktu nyata.

3. Kelola aturan peringatan.

   Anda dapat mengaktifkan atau menonaktifkan aturan peringatan yang dibuat. Anda juga dapat menentukan penerima peringatan yang berbeda berdasarkan tingkat keparahan peringatan.

6. Konfigurasikan parameter lanjutan

Anda dapat mengubah nilai parameter tertentu yang dikonfigurasikan untuk tugas sinkronisasi berdasarkan kebutuhan bisnis Anda. Sebagai contoh, Anda dapat menentukan nilai yang sesuai untuk parameter Koneksi Baca Maksimum untuk mencegah tugas sinkronisasi saat ini memberikan tekanan berlebih pada database sumber dan produksi data terpengaruh.

1. Di sudut kanan atas halaman konfigurasi, klik Konfigurasikan Parameter Lanjutan.

2. Di panel Konfigurasikan Parameter Lanjutan, ubah nilai parameter yang diinginkan.

7. Konfigurasikan aturan pemrosesan DDL

Operasi DDL mungkin dilakukan pada sumber. Anda dapat mengklik Configure DDL Capability di sudut kanan atas halaman untuk mengonfigurasi aturan untuk memproses pesan DDL dari sumber berdasarkan kebutuhan bisnis Anda.

8. Lihat dan ubah kelompok sumber daya

Anda dapat mengklik Configure Resource Group di sudut kanan atas halaman untuk melihat dan mengubah kelompok sumber daya yang digunakan untuk menjalankan tugas sinkronisasi saat ini.

9. Jalankan tugas sinkronisasi

1. Setelah konfigurasi tugas sinkronisasi selesai, klik Complete di bagian bawah halaman.

2. Di bagian Nodes halaman Data Integration, temukan tugas sinkronisasi yang dibuat dan klik Start di kolom <Actions.

3. Klik name or ID tugas sinkronisasi di bagian Tasks dan lihat proses jalannya tugas sinkronisasi secara rinci.

Lihat status tugas sinkronisasi

Setelah Anda membuat tugas sinkronisasi, Anda dapat melihat daftar tugas sinkronisasi yang dibuat dan informasi dasar tentang setiap tugas sinkronisasi di halaman Tugas Sinkronisasi.

• Anda dapat mengklik Start atau Stop di kolom Tindakan untuk memulai atau menghentikan tugas sinkronisasi. Anda juga dapat mengklik Lebih Banyak untuk melakukan operasi seperti Edit dan View pada tugas sinkronisasi.

• Untuk tugas yang telah dimulai, Anda dapat melihat status jalannya dasar di Execution Overview. Anda juga dapat mengklik area ikhtisar yang sesuai untuk melihat detail eksekusi.

  Tugas sinkronisasi waktu nyata untuk menyinkronkan seluruh database MySQL ke Data Lake Formation terdiri dari tiga langkah:

  • Migrasi Skema: Tab ini menampilkan informasi seperti apakah tabel tujuan adalah tabel baru atau tabel yang sudah ada. Untuk tabel baru, pernyataan DDL yang digunakan untuk membuat tabel ditampilkan.

  • Inisialisasi Data Penuh: Tab ini menampilkan informasi seperti tabel sumber dan tabel tujuan yang terlibat dalam sinkronisasi batch, kemajuan sinkronisasi, dan jumlah catatan data yang disinkronkan.

  • Sinkronisasi Waktu Nyata: Tab ini menampilkan informasi statistik tentang sinkronisasi waktu nyata, termasuk kemajuan sinkronisasi, catatan DDL, catatan DML, dan informasi peringatan.

Jalankan ulang tugas sinkronisasi

Dalam beberapa kasus khusus, jika Anda menambahkan tabel ke atau menghapus tabel dari sumber, atau mengubah skema atau nama tabel tujuan, Anda dapat mengklik Lebih Banyak di kolom Actions tugas sinkronisasi dan kemudian klik Rerun untuk menjalankan ulang tugas setelah perubahan. Selama proses menjalankan ulang, tugas sinkronisasi hanya menyinkronkan data dari tabel yang baru ditambahkan ke tujuan atau hanya dari tabel sumber yang dipetakan ke tabel tujuan yang skema atau namanya diubah.

• Jika Anda ingin menjalankan ulang tugas sinkronisasi tanpa mengubah konfigurasi tugas, klik Lebih Banyak di kolom Tindakan dan kemudian klik Rerun untuk menjalankan ulang tugas untuk melakukan sinkronisasi penuh dan sinkronisasi inkremental lagi.

• Jika Anda ingin menjalankan ulang tugas sinkronisasi setelah Anda menambahkan tabel ke atau menghapus tabel dari tugas, klik Complete setelah perubahan. Dalam hal ini, Apply Updates ditampilkan di kolom Tindakan tugas sinkronisasi. Klik Apply Updates untuk memicu sistem menjalankan ulang tugas sinkronisasi. Selama proses menjalankan ulang, tugas sinkronisasi menyinkronkan data dari tabel yang baru ditambahkan ke tujuan. Data di tabel asli tidak disinkronkan lagi.