Sinkronisasi waktu nyata dari database MySQL ke Elasticsearch - DataWorks

Data Integration mendukung sinkronisasi offline seluruh database dari sumber seperti MySQL dan PolarDB ke Elasticsearch. Topik ini menjelaskan cara menyinkronkan data penuh dan inkremental dari seluruh database MySQL ke Elasticsearch.

Prasyarat

Anda telah membeli Grup Sumber Daya Serverless atau grup sumber daya eksklusif untuk Integrasi Data.
Anda telah membuat sumber data MySQL dan Elasticsearch. Untuk informasi lebih lanjut, lihat Buat Sumber Data untuk Integrasi Data.
Anda telah menetapkan konektivitas jaringan antara grup sumber daya dan sumber data. Untuk informasi lebih lanjut, lihat Solusi Konektivitas Jaringan.

Prosedur

1. Pilih jenis tugas sinkronisasi

Pergi ke halaman Integrasi Data.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih Data Integration > Data Integration. Di halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Integration.
Di panel navigasi sebelah kiri, klik Synchronization Task, lalu klik Create Synchronization Task di bagian atas halaman. Di halaman yang muncul, konfigurasikan informasi dasar berikut:
- Data Source And Destination: MySQL→Elasticsearch
- New Task Name: Masukkan nama kustom untuk tugas sinkronisasi.
- Synchronization Type: Sinkronisasi Database Waktu Nyata.
- Synchronization Steps: Pilih kedua opsi Full Synchronization dan Incremental Synchronization.

2. Konfigurasikan jaringan dan sumber daya

Di bagian Network And Resource Configuration, pilih Resource Group untuk tugas sinkronisasi. Anda dapat mengalokasikan jumlah unit komputasi (CUs) untuk Task Resource Usage.
Untuk Source Data Source, pilih sumber data MySQL yang telah ditambahkan. Untuk Destination Data Source, pilih sumber data Elasticsearch yang telah ditambahkan. Lalu, klik Test Connectivity.
Setelah Anda memastikan bahwa kedua sumber data sumber dan tujuan terhubung dengan sukses, klik Next.

3. Pilih tabel dari mana Anda ingin menyinkronkan data

Pada langkah ini, Anda dapat memilih tabel dari mana Anda ingin menyinkronkan data dalam daftar Tabel Sumber dan klik ikon untuk memindahkan tabel yang dipilih ke daftar Tabel Terpilih.

4. Konfigurasikan pemetaan indeks tujuan

Setelah Anda memilih tabel untuk disinkronkan pada langkah sebelumnya, tabel tersebut secara otomatis ditampilkan di halaman ini. Namun, properti indeks tujuan berada dalam status pembaruan pemetaan tertunda secara default. Anda perlu mendefinisikan dan mengonfirmasi hubungan pemetaan antara tabel sumber dan indeks tujuan, yang menentukan bagaimana data dibaca dan ditulis. Lalu, klik Refresh Mapping untuk melanjutkan ke langkah berikutnya. Anda dapat memperbarui pemetaan langsung atau menyesuaikan aturan indeks tujuan sebelum memperbarui pemetaan.

Catatan

Anda dapat memilih tabel yang akan disinkronkan dan klik Batch Refresh Mapping. Jika tidak ada aturan pemetaan yang dikonfigurasi, aturan nama indeks default adalah ${nama tabel sumber}. Jika indeks dengan nama yang sama tidak ada di tujuan, indeks baru akan otomatis dibuat.
Di kolom Custom Destination Index Name Mapping, Anda dapat mengklik tombol Edit untuk menyesuaikan aturan nama indeks tujuan.
Anda dapat menggunakan variabel bawaan dan string yang dimasukkan secara manual untuk membentuk nama indeks tujuan akhir. Anda dapat mengedit variabel bawaan. Misalnya, Anda dapat membuat aturan nama tabel untuk menambahkan akhiran ke nama tabel sumber sebagai nama indeks tujuan.

a. Ubah pemetaan tipe data untuk bidang

Pemetaan default ada antara tipe data bidang sumber dan tipe data bidang tujuan. Anda dapat mengklik Edit Mapping of Field Data Types di pojok kanan atas bagian Aturan Pemetaan untuk Tabel Tujuan untuk mengonfigurasi pemetaan tipe data antara bidang sumber dan bidang tujuan berdasarkan kebutuhan bisnis Anda. Setelah konfigurasi selesai, klik Apply and Refresh Mapping.

2. Edit struktur indeks tujuan dan tambahkan penugasan bidang

Ketika indeks tujuan berada dalam status To Be Created, Anda dapat menambahkan bidang ke indeks tujuan berdasarkan skema tabel asli. Untuk melakukan ini, lakukan operasi berikut:

Tambahkan bidang ke indeks tujuan
- Tambahkan bidang ke satu tabel: Klik tombol di kolom Destination Index Name dan tambahkan bidang dengan mengonfigurasi Create Index Statement.
  - Dynamic Mapping Status: menentukan apakah akan menyinkronkan secara dinamis bidang baru di tabel sumber ke indeks tujuan selama sinkronisasi. Nilai valid:
    - true: Jika sistem mendeteksi bahwa tabel sumber berisi bidang baru, sistem menyinkronkan bidang tersebut ke indeks tujuan yang dipetakan. Lalu, bidang tersebut dapat dicari di indeks. Ini adalah nilai default.
    - false: Jika sistem mendeteksi bahwa tabel sumber berisi bidang baru, sistem menyinkronkan bidang tersebut ke indeks tujuan yang dipetakan. Namun, bidang tersebut tidak dapat dicari di indeks setelah sinkronisasi.
    - strict: Jika sistem mendeteksi bahwa tabel sumber berisi bidang baru, sistem tidak menyinkronkan bidang tersebut ke indeks tujuan yang dipetakan dan melaporkan kesalahan. Anda dapat melihat detail kesalahan di informasi log.
    Untuk informasi lebih lanjut tentang pemetaan dinamis, lihat pemetaan dinamis.
  - Shards dan Replicas: jumlah shard utama untuk setiap indeks tujuan dan jumlah shard replika untuk setiap shard utama. Shard didistribusikan di node Elasticsearch yang berbeda. Dengan cara ini, pencarian terdistribusi dapat dilakukan dan efisiensi kueri Elasticsearch ditingkatkan. Untuk informasi lebih lanjut, lihat Kata Kunci.
    Catatan
    Nilai parameter Shards dan Replicas tidak dapat diubah setelah Anda mengonfigurasi parameter dan menjalankan solusi. Nilai default parameter ini adalah 1.
- Tambahkan bidang dalam batch: Pilih semua tabel yang akan disinkronkan, dan di bagian bawah tabel, pilih Batch Modify > Destination Index Structure - Batch Add Fields.
Tetapkan nilai ke bidang. Anda dapat melakukan salah satu operasi berikut untuk menetapkan nilai ke bidang yang ditambahkan pada langkah sebelumnya:
- Tetapkan nilai ke satu tabel: Klik tombol Configure di kolom Destination Index Field Assignment untuk menetapkan nilai ke bidang tabel tujuan.
- Tetapkan nilai dalam batch: Di bagian bawah daftar, pilih Batch Modify > Destination Index Field Assignment untuk menetapkan nilai ke bidang yang sama di beberapa indeks tujuan dalam batch.
Catatan
Saat menetapkan nilai, Anda dapat menetapkan konstanta dan variabel. Anda dapat beralih mode penugasan dengan mengklik ikon .

c. Konfigurasikan aturan pemrosesan DML

Integrasi Data menyediakan aturan pemrosesan DML default. Anda juga dapat mengonfigurasi aturan pemrosesan DML untuk tabel tujuan berdasarkan kebutuhan bisnis Anda.

Konfigurasikan aturan pemrosesan DML untuk satu tabel tujuan: Temukan tabel tujuan untuk mana Anda ingin mengonfigurasi aturan pemrosesan DML dan klik Configure di kolom Configure DML Rule untuk mengonfigurasi aturan pemrosesan DML untuk tabel tersebut.
Konfigurasikan aturan pemrosesan DML untuk beberapa tabel tujuan sekaligus: Pilih tabel tujuan untuk mana Anda ingin mengonfigurasi aturan pemrosesan DML, klik Batch Modify di bagian bawah halaman, lalu klik Configure DML Rule.

4. Sesuaikan parameter lanjutan

Jika Anda perlu membuat konfigurasi detail halus untuk tugas agar memenuhi persyaratan sinkronisasi kustom, Anda dapat mengklik Configure di kolom Custom Advanced Parameters untuk memodifikasi parameter lanjutan.

Penting

Sebelum Anda memodifikasi konfigurasi parameter lanjutan, pastikan Anda memahami arti dari parameter tersebut untuk mencegah kesalahan tak terduga atau masalah kualitas data.

5. Konfigurasikan aturan peringatan

Untuk mencegah kegagalan tugas sinkronisasi menyebabkan latensi pada sinkronisasi data bisnis, Anda dapat mengonfigurasi aturan peringatan yang berbeda untuk tugas sinkronisasi.

Di pojok kanan atas halaman, klik Configure Alert Rule untuk pergi ke panel Configure Alert Rule.
Di panel Konfigurasi Aturan Peringatan, klik Add Alert Rule. Di kotak dialog Tambah Aturan Peringatan, konfigurasikan parameter untuk mengonfigurasi aturan peringatan.
Catatan
Aturan peringatan yang Anda konfigurasikan pada langkah ini berlaku untuk sub-tugas sinkronisasi waktu nyata yang akan dihasilkan oleh tugas sinkronisasi. Setelah konfigurasi tugas sinkronisasi selesai, Anda dapat merujuk ke Kelola Tugas Sinkronisasi Waktu Nyata untuk pergi ke halaman Tugas Sinkronisasi Waktu Nyata dan memodifikasi aturan peringatan yang dikonfigurasikan untuk sub-tugas sinkronisasi waktu nyata.
Kelola aturan peringatan.
Anda dapat mengaktifkan atau menonaktifkan aturan peringatan yang dibuat. Anda juga dapat menentukan penerima peringatan yang berbeda berdasarkan tingkat keparahan peringatan.

6. Konfigurasikan parameter lanjutan

Anda dapat mengubah nilai parameter tertentu yang dikonfigurasikan untuk tugas sinkronisasi berdasarkan kebutuhan bisnis Anda. Misalnya, Anda dapat menentukan nilai yang sesuai untuk parameter Koneksi Baca Maksimum untuk mencegah tugas sinkronisasi saat ini memberikan tekanan berlebih pada database sumber dan produksi data terpengaruh.

Catatan

Untuk mencegah kesalahan tak terduga atau masalah kualitas data, kami sarankan Anda memahami arti dari parameter sebelum mengubah nilai parameter tersebut.

Di pojok kanan atas halaman konfigurasi, klik Konfigurasi Parameter Lanjutan.
Di panel Konfigurasi Parameter Lanjutan, ubah nilai parameter yang diinginkan.

7. Konfigurasikan aturan pemrosesan DDL

Operasi DDL mungkin dilakukan pada sumber. Anda dapat mengklik Configure DDL Capability di pojok kanan atas halaman untuk mengonfigurasi aturan untuk memproses pesan DDL dari sumber berdasarkan kebutuhan bisnis Anda.

Catatan

Untuk informasi lebih lanjut, lihat Konfigurasikan Aturan untuk Memproses Pesan DDL.

8. Lihat dan ubah grup sumber daya

Anda dapat mengklik Configure Resource Group di pojok kanan atas halaman untuk melihat dan mengubah grup sumber daya yang digunakan untuk menjalankan tugas sinkronisasi saat ini.

9. Jalankan tugas sinkronisasi

Setelah konfigurasi tugas sinkronisasi selesai, klik Complete di bagian bawah halaman.
Di bagian Nodes halaman Data Integration, temukan tugas sinkronisasi yang dibuat dan klik Start di kolom Actions.
Klik name or ID tugas sinkronisasi di bagian Tasks dan lihat proses pelaksanaan rinci tugas sinkronisasi.

Lakukan operasi O&M pada tugas sinkronisasi

Lihat status tugas sinkronisasi

Setelah tugas sinkronisasi dibuat, Anda dapat pergi ke halaman Tugas Sinkronisasi untuk melihat semua tugas sinkronisasi yang dibuat di ruang kerja dan informasi dasar setiap tugas sinkronisasi.

Anda dapat Start atau Stop tugas sinkronisasi di kolom Operasi. Di menu Lainnya, Anda dapat Edit, View, dan melakukan operasi lainnya pada tugas sinkronisasi.
Untuk tugas yang telah dimulai, Anda dapat melihat status dasar tugas di Execution Overview, atau klik area ikhtisar yang sesuai untuk melihat detail eksekusi.
Tugas sinkronisasi waktu nyata dari MySQL ke Elasticsearch terdiri dari tiga langkah:
- Migrasi Skema: Tab ini menampilkan informasi seperti apakah tabel tujuan adalah tabel baru atau tabel yang sudah ada. Untuk tabel baru, pernyataan DDL yang digunakan untuk membuat tabel ditampilkan.
- Inisialisasi Data Penuh: Tab ini menampilkan informasi seperti tabel sumber dan tabel tujuan yang terlibat dalam sinkronisasi batch, kemajuan sinkronisasi, dan jumlah catatan data yang disinkronkan.
- Sinkronisasi Waktu Nyata: Tab ini menampilkan informasi statistik tentang sinkronisasi waktu nyata, termasuk kemajuan sinkronisasi, catatan DDL, catatan DML, dan informasi peringatan.

Jalankan ulang tugas sinkronisasi

Dalam beberapa kasus khusus, jika Anda menambahkan tabel ke sumber atau menghapus tabel dari sumber, atau mengubah skema atau nama tabel tujuan, Anda dapat mengklik Lainnya di kolom Actions tugas sinkronisasi lalu klik Rerun untuk menjalankan ulang tugas setelah perubahan. Selama proses menjalankan ulang, tugas sinkronisasi hanya menyinkronkan data dari tabel yang baru ditambahkan ke tujuan atau hanya dari tabel sumber yang dipetakan ke tabel tujuan yang skema atau namanya diubah.

Jika Anda ingin menjalankan ulang tugas sinkronisasi tanpa mengubah konfigurasi tugas, klik Lainnya di kolom Tindakan lalu klik Rerun untuk menjalankan ulang tugas untuk melakukan sinkronisasi penuh dan sinkronisasi inkremental lagi.
Jika Anda ingin menjalankan ulang tugas sinkronisasi setelah Anda menambahkan tabel ke tugas atau menghapus tabel dari tugas, klik Complete setelah perubahan. Dalam hal ini, Apply Updates ditampilkan di kolom Tindakan tugas sinkronisasi. Klik Apply Updates untuk memicu sistem menjalankan ulang tugas sinkronisasi. Selama proses menjalankan ulang, tugas sinkronisasi menyinkronkan data dari tabel yang baru ditambahkan ke tujuan. Data di tabel asli tidak disinkronkan lagi.