OpenSearch:Konfigurasikan sumber data ApsaraDB RDS for MySQL

Perilaku pemetaan bidang

OpenSearch memetakan data MySQL Anda sebagai berikut:

• Setiap baris dalam tabel sumber menjadi satu dokumen dalam indeks OpenSearch.

• Setiap kolom menjadi satu bidang dalam dokumen tersebut.

• Nilai kolom DATETIME dan TIMESTAMP dikonversi ke milidetik. Atur tipe bidang tujuan yang sesuai ke TIMESTAMP dalam skema aplikasi Anda.

Penggabungan multi-tabel dan multi-sumber

Anda dapat memetakan baris dari beberapa tabel — baik dari satu atau lebih sumber data — ke dalam satu tabel aplikasi. Tabel-tabel sumber harus memiliki skema tabel yang sama, dan konfigurasi plugin pemrosesan data harus identik di semua sumber data. Nilai kunci utama harus unik; nilai duplikat akan ditimpa.

Pola yang didukung:

• Beberapa tabel sumber dalam satu sumber data dipetakan ke satu tabel aplikasi.

• Beberapa sumber data, masing-masing dengan satu atau lebih tabel sumber, dipetakan ke satu tabel aplikasi.

Langkah 1: Siapkan akun database dan log biner

Sebelum menghubungkan, konfigurasikan instans RDS agar mengizinkan akses OpenSearch.

Buat akun khusus dengan izin minimum

Jalankan SQL berikut pada instans RDS Anda untuk membuat akun read-only dan memberikan izin yang diperlukan (wajib untuk MySQL 5.7 dan versi setelahnya):

CREATE USER '<username>'@'%' IDENTIFIED BY '<password>';
GRANT SELECT, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO '<username>'@'%';
FLUSH PRIVILEGES;

Ganti <username> dan <password> dengan nilai Anda.

Untuk mengizinkan OpenSearch mengakses sumber data ApsaraDB RDS for MySQL, izin minimum berikut diperlukan:

1. Izin untuk mengeksekusi pernyataan SHOW CREATE TABLE diberikan kepada OpenSearch.

2. Izin untuk mengeksekusi pernyataan REPLICATION SLAVE atau REPLICATION CLIENT diberikan kepada OpenSearch.

3. Nilai parameter binlog_row_image diatur ke FULL.

4. Nilai parameter binlog_format diatur ke ROW.

Jika Anda ingin menggunakan DTS untuk menyinkronkan data, pastikan akun Anda memiliki izin untuk mengkueri semua tabel di database sumber. Selain itu, pastikan pernyataan SHOW CREATE TABLE * dapat dieksekusi sebagaimana mestinya. Jika akun Anda tidak memiliki izin tersebut, sinkronisasi real-time mungkin gagal.

Jangan mengubah izin akun setelah konfigurasi. Perubahan akun dapat mengganggu sinkronisasi real-time dan mencegah pembuatan versi aplikasi baru. Jika Anda harus mengubah akun atau password, hapus sumber data yang ada dan tambahkan kembali instans RDS.

Jika enkripsi SSL diaktifkan pada instans RDS, pastikan sertifikat SSL tetap valid. Sertifikat yang kedaluwarsa menyebabkan error koneksi.

Verifikasi pengaturan log biner

OpenSearch memerlukan konfigurasi log biner berikut pada instans RDS:

binlog_format     = ROW
binlog_row_image  = FULL

• binlog_format: harus ROW agar OpenSearch dapat membaca perubahan tingkat baris.

• binlog_row_image: harus FULL agar gambar baris lengkap ditulis ke log biner.

Untuk MySQL 5.6, juga tingkatkan ambang batas loose_max_execution_time dan loose_max_statement_time ke nilai yang lebih besar. Tanpa ini, pengindeksan ulang mungkin gagal dengan pesan: Query execution was interrupted, max_statement_time exceeded.

Catatan: Mode replica client dan replica slave dengan binary logging dinonaktifkan tidak didukung. Lihat Pemeriksaan Awal pada binary logging database sumber.

Langkah 2: Tambahkan alamat IP OpenSearch ke daftar putih RDS

OpenSearch harus dapat mengakses instans RDS Anda melalui jaringan. Tambahkan blok CIDR untuk wilayah Anda ke Daftar putih alamat IP instans RDS.

Pastikan juga instans RDS memiliki Titik akhir internal yang dikonfigurasi. Tanpa Titik akhir internal, OpenSearch tidak dapat terhubung dan mengembalikan pesan: Failed to connect to RDS service. Try again later.

Langkah 3: Hubungkan ke database

1. Pada panel Select Data Source, klik ApsaraDB RDS for MySQL, lalu klik Connect to Database.

   

2. Pada kotak dialog Connect to Database, isi parameter koneksi dan klik Connect.

   

   Parameter	Deskripsi
   ApsaraDB RDS Instance ID	ID instans dari Konsol ApsaraDB RDS. ID ini case-sensitive. Instans read-only tidak didukung. Contoh: rm-bp19b4g5n11111111
   Database Name	Nama database yang akan dihubungkan. Tidak case-sensitive.
   Username	Akun yang digunakan untuk koneksi. Harus memiliki izin baca pada skema tabel dan data lengkap. Case-sensitive.
   Password	Password untuk akun tersebut. Tidak boleh mengandung %.

   Jika koneksi gagal, OpenSearch mengembalikan salah satu error berikut:

   Error	Solusi
   Instans ApsaraDB RDS for MySQL tidak berada di wilayah yang sama dengan aplikasi OpenSearch.	Verifikasi ID instans dan pastikan instans RDS berada di wilayah yang sama dengan aplikasi OpenSearch. Jika keduanya sudah benar, buat tiket dukungan.
   Gagal menghubungkan ke layanan RDS.	Periksa apakah ID instans, nama database, username, dan password sudah benar, serta pastikan titik akhir internal telah dikonfigurasi.
   Tabel tidak ada dalam instans ApsaraDB RDS for MySQL saat ini.	Verifikasi nama tabel dan pastikan tabel tersebut ada di instans RDS.

Langkah 4: Pilih tabel

Setelah koneksi berhasil, pilih tabel yang akan disinkronkan.

Pada bagian Select Table, pilih tabel dari kotak Table di sebelah kiri, klik panah ke kanan untuk memindahkannya ke kotak Selected, lalu klik OK.

• Nama tabel case-sensitive.

• Untuk mencocokkan beberapa tabel dengan awalan nama yang sama, gunakan tanda bintang (*) sebagai wildcard. Misalnya, table_* mencocokkan table_a, table_b, dan seterusnya.

Langkah 5: Petakan bidang

Pada langkah Field Mapping, pilih bidang database yang akan disinkronkan ke OpenSearch dan klik OK.

Untuk menerapkan plugin pemrosesan data ke suatu bidang, klik tanda plus (+) di kolom Content Conversion untuk bidang tersebut. Untuk detail plugin yang tersedia, lihat Gunakan plugin pemrosesan data.

Catatan: Anda tidak dapat menggabungkan nilai bidang dari tabel sumber yang menggunakan skema tabel berbeda.

Langkah 6: Tetapkan kondisi filter

Tentukan kondisi filter untuk mengontrol baris mana yang ditarik dari instans RDS.

Hanya baris yang sesuai dengan kondisi filter yang diindeks. Setelah data lengkap disinkronkan, baris yang tidak lagi memenuhi kondisi filter akan dihapus — termasuk baris yang nilai kunci primernya cocok dengan dokumen yang sudah ada di aplikasi.

Untuk sintaksis filter dan detail konfigurasi, lihat Konfigurasikan kondisi untuk memfilter bidang dalam sumber data ApsaraDB RDS dan PolarDB.

Format filter: Saat memfilter kolom DATE atau DATETIME, gunakan format lengkap dengan padding nol:

createtime>'2018-03-01 00:00:00'   (benar)
createtime>'2018-3-1 00:00:00'     (mengembalikan error)

Konflik kunci utama antar beberapa tabel

Saat menyinkronkan dari beberapa tabel dengan skema tabel yang sama ke satu tabel aplikasi, nilai kunci utama duplikat dapat menyebabkan penimpaan data. Untuk menghindarinya, gunakan plugin StringCatenateExtractor untuk menghasilkan kunci unik dengan menggabungkan kunci utama asli dengan nama tabel.

Konfigurasikan plugin dengan field sumber pk dan $table, di mana:

• pk adalah field kunci utama dari tabel sumber.

• $table adalah variabel sistem yang menyimpan nama tabel (memerlukan pencocokan tabel wildcard aktif).

Gunakan tanda hubung (-) atau karakter kustom sebagai pemisah. Misalnya, jika tabelnya adalah my_table_0 dan nilai kunci utamanya adalah 123456, kunci hasilnya adalah 123456-my_table_0.

Pengguna RAM tidak dapat mengonfigurasi sumber data

Jika Anda melihat Failed to connect to RDS service. Try again later saat masuk sebagai Pengguna RAM, berikan izin yang diperlukan kepada Pengguna RAM tersebut. Lihat Buat Pengguna RAM. Perhatikan bahwa peran layanan AliyunServiceRoleForOpenSearch harus dibuat oleh Akun Alibaba Cloud utama.