OpenSearch：Konfigurasi sumber data PolarDB for MySQL

PolarDB for MySQL adalah layanan database online yang dikembangkan oleh Alibaba Cloud. Layanan ini stabil, andal, dan dapat diskalakan, serta menyediakan kemampuan siap pakai. Untuk informasi lebih lanjut, lihat Apa itu PolarDB for MySQL Enterprise Edition?

Sebelum membeli kluster PolarDB for MySQL, perhatikan hal-hal berikut:

• OpenSearch hanya mendukung PolarDB for MySQL versi 5.6, 5.7, dan 8.0.

• Gunakan akun Alibaba Cloud yang Anda gunakan untuk masuk ke konsol OpenSearch untuk membuat kluster PolarDB for MySQL. Jika tidak, OpenSearch tidak dapat mengakses kluster tersebut.

• Kluster PolarDB for MySQL harus berada di wilayah yang sama dengan aplikasi OpenSearch tempat Anda ingin mengonfigurasi sumber data.

• Secara default, fitur binary logging dinonaktifkan setelah kluster PolarDB for MySQL dibuat. Dalam hal ini, Anda mungkin gagal menambahkan database dalam kluster sebagai sumber data. Oleh karena itu, aktifkan fitur binary logging dengan mengatur parameter loose_polar_log_bin ke ON_WITH_GTID dan pertahankan nilai default FULL untuk parameter binlog_row_image. Secara default, parameter binlog_row_image disetel ke FULL, sedangkan nilai default dari parameter loose_polar_log_bin adalah OFF.

• Kluster PolarDB for MySQL mendukung instance klon.

• Kluster PolarDB for MySQL mendukung pemisahan baca/tulis.

Fitur yang Didukung

• Semua data dalam database atau tabel tertentu dapat ditarik secara manual atau otomatis pada waktu yang ditentukan.

• Anda dapat menggabungkan baris dari beberapa tabel dari satu atau lebih sumber data. Untuk menggabungkan baris, pastikan bahwa tabel sumber menggunakan skema yang sama dan konfigurasi plugin pemrosesan data sama di semua sumber data. Selain itu, nilai kunci utama tidak boleh duplikat. Data dengan nilai kunci utama yang duplikat dapat ditimpa. Fitur ini dapat digunakan dalam skenario berikut:

  • Data disinkronkan dari beberapa tabel sumber dalam sumber data ke tabel dalam aplikasi.

  • Beberapa sumber data dikonfigurasikan untuk tabel dalam aplikasi. Data disinkronkan dari satu atau lebih tabel sumber di setiap sumber data ke tabel dalam aplikasi.

• Anda dapat menggunakan plugin untuk mengonversi nilai bidang sumber data.

• Anda dapat menentukan kondisi filter untuk menyaring data lengkap.

• Anda dapat menggunakan tanda asterisk (*) untuk mencocokkan tabel yang namanya memiliki awalan yang sama.

Batasan

• Parameter binlog_row_image harus disetel ke FULL untuk kluster PolarDB for MySQL. Untuk mengaktifkan fitur binary logging, atur parameter loose_polar_log_bin ke ON_WITH_GTID dan pertahankan nilai default FULL untuk parameter binlog_row_image. Nilai default dari parameter loose_polar_log_bin adalah OFF.

• Hanya PolarDB for MySQL versi 5.6, 5.7, dan 8.0 yang didukung.

• Gunakan akun Alibaba Cloud yang Anda gunakan untuk masuk ke konsol OpenSearch untuk membuat kluster PolarDB for MySQL.

• Kluster PolarDB for MySQL harus berada di wilayah yang sama dengan aplikasi OpenSearch tempat Anda ingin mengonfigurasi sumber data.

• Setelah mengonfigurasi sumber data PolarDB for MySQL untuk aplikasi standar, Anda tidak dapat menggunakan SDK atau memanggil operasi API untuk mendorong data tambahan ke aplikasi.

• Jika Anda mengonfigurasi sumber data PolarDB for MySQL untuk aplikasi standar, Anda tidak dapat menentukan kondisi filter untuk menyaring data dari sumber data.

• Pernyataan REPLACE INTO tidak didukung.

• Anda tidak dapat menggunakan pernyataan TRUNCATE atau DROP untuk menghapus data. Untuk menghapus data, gunakan pernyataan DELETE.

• Kata sandi yang digunakan untuk mengakses sumber data PolarDB for MySQL tidak boleh mengandung tanda persen (%). Jika tidak, pengindeksan ulang akan gagal.

• Anda tidak dapat menggabungkan kolom tabel sumber dari database yang berbeda.

• Kami merekomendasikan agar Anda menyetel kedua parameter loose_max_statement_time dan connect_timeout ke 0. Anda dapat mengubah nilai parameter setelah pengindeksan ulang atau perubahan offline dilakukan dan data lengkap disinkronkan.

Catatan Penggunaan

• Jika sumber data ApsaraDB RDS for MySQL atau PolarDB dilampirkan ke instance PolarDB-X, tentukan nama shard database yang sebenarnya digunakan pada instance PolarDB-X saat mengonfigurasi sumber data. Setelah sharding database, sebuah database pada instance PolarDB-X memiliki satu database bayangan dan delapan shard database. Data ditulis secara acak ke shard database.

• Anda dapat beralih antara titik akhir internal dan publik kluster PolarDB for MySQL. Tidak ada biaya lalu lintas yang dihasilkan ketika OpenSearch mengakses data kluster PolarDB for MySQL.

• OpenSearch memungkinkan Anda menarik data lengkap hanya dari database utama. Kami merekomendasikan agar Anda melakukan pengindeksan ulang dan mengimpor data lengkap selama jam-jam sepi berdasarkan kebutuhan bisnis Anda.

• Jika tabel sumber dari kluster PolarDB for MySQL berisi bidang dalam format DATETIME atau TIMESTAMP, nilai-nilai bidang tersebut dikonversi menjadi nilai dalam milidetik. Anda harus menyetel jenis bidang tujuan di aplikasi Anda ke TIMESTAMP.

• Setelah data lengkap disinkronkan, dokumen yang tidak memenuhi kondisi filter disaring. Jika dokumen tertentu memiliki nilai kunci utama yang sama dengan yang ada di tabel tujuan aplikasi, dokumen tersebut juga disaring.

• Jika tidak ada data tambahan yang dihasilkan untuk periode waktu yang lama (15 hari atau lebih), kesalahan sinkronisasi data mungkin terjadi. Dalam hal ini, Anda dapat secara manual melakukan pengindeksan ulang atau perubahan offline.

• Jika enkripsi SSL diaktifkan untuk PolarDB for MySQL, pastikan bahwa sertifikat SSL valid. Jika sertifikat SSL kedaluwarsa, kesalahan koneksi mungkin terjadi. Anda harus memperbarui periode validitas sertifikat SSL secara tepat waktu.

• Saat menggunakan OpenSearch untuk menyinkronkan data dari kluster PolarDB for MySQL, tambahkan alamat IP dan blok CIDR server di wilayah tempat OpenSearch berada ke daftar putih alamat IP kluster PolarDB for MySQL. Tabel berikut memberikan alamat IP server di berbagai wilayah tempat OpenSearch berada.

  Wilayah	Alamat IP
  Cina (Hangzhou)	100.104.190.128/26,100.104.241.128/26
  Cina (Beijing)	100.104.16.192/26,100.104.179.0/26
  Cina (Shanghai)	100.104.37.0/26,100.104.46.0/26
  Cina (Shenzhen)	100.104.87.192/26,1100.104.132.192/26
  Cina (Qingdao)	100.104.240.128/26,1100.104.111.128/26
  Cina (Zhangjiakou)	100.104.155.192/26,100.104.238.64/26
  Jerman (Frankfurt)	100.104.127.0/26,100.104.35.192/26
  AS (Silicon Valley) dan AS (Virginia)	100.104.193.128/26,100.104.119.128/26
  Singapura	100.104.58.192/26,100.104.74.192/26

Otorisasi Akun

• Untuk terhubung ke kluster PolarDB for MySQL, Anda harus memperoleh izin yang diperlukan untuk mengakses kluster, dan memasukkan akun dan kata sandi. Berhati-hatilah saat memasukkan akun dan kata sandi tertentu untuk pertama kali terhubung ke sumber data.

• Pastikan bahwa akun Anda memiliki izin untuk menanyakan semua tabel dalam database sumber di Data Transmission Service (DTS). Selain itu, pastikan bahwa pernyataan SHOW CREATE TABLE *. * dapat dieksekusi sesuai harapan. Jika akun Anda tidak memiliki izin, sinkronisasi real-time mungkin gagal.

• Pastikan bahwa akun dan izin tidak diubah kecuali diperlukan. Perubahan akun dapat menyebabkan kegagalan sinkronisasi real-time. Selain itu, jika perubahan dilakukan pada akun, versi baru aplikasi mungkin gagal dibuat. Jika akun dan kata sandi diubah, Anda harus menghapus sumber data yang ada dan menambahkan kluster PolarDB for MySQL lagi sebagai sumber data baru.

Pemecahan Masalah

• Setelah sumber data PolarDB for MySQL dikonfigurasi, pengindeksan ulang mungkin ditangguhkan. Dalam hal ini, buat tabel uji di database tempat tabel sumber berada. Kemudian, tulis satu atau dua entri data ke atau perbarui satu atau dua entri data dalam tabel uji setiap menit. Ini memastikan bahwa log biner kontinu dihasilkan saat data diindeks ulang.

• Jika aplikasi tingkat lanjut yang dikonfigurasi dengan sumber data database PolarDB for MySQL memiliki pembayaran yang terlambat, Anda dapat memicu pengindeksan ulang secara manual setelah membayar pembayaran yang terlambat.

• Kata sandi yang digunakan untuk mengakses kluster PolarDB for MySQL tidak boleh mengandung tanda persen (%). Jika tidak, pengindeksan ulang gagal dan pesan kesalahan "Karakter hex ilegal dalam pola escape (%)" muncul.

• Nilai kunci utama tabel dalam aplikasi harus unik. Jika data disinkronkan dari beberapa tabel dengan skema tabel yang sama, nilai kunci utama yang duplikat mungkin ada. Dalam hal ini, data mungkin ditimpa. Untuk mencegah masalah ini, Anda dapat menggunakan plugin StringCatenateExtractor untuk menggabungkan nilai dari beberapa bidang. Bidang sumber adalah pk dan $table. Ganti pk dengan bidang kunci utama tabel di kluster PolarDB for MySQL. $table adalah variabel sistem default, yang menunjukkan nama tabel. $table hanya dapat digunakan ketika wildcard sharding tabel perlu dikonfigurasikan. Gabungkan bidang sumber menggunakan tanda hubung (-) atau karakter kustom.

Sebagai contoh, tabel di kluster PolarDB for MySQL bernama my_table_0 dan nilai kunci utama adalah 123456. Dalam hal ini, nilai kunci utama baru yang diperoleh setelah penggabungan adalah 123456-my_table_0.

• Bidang bertipe DATE atau DATETIME dalam tabel sumber disaring. Sebagai contoh, jika nama bidang sumber dalam tabel database adalah createtime, format waktu yang ditentukan dalam kondisi filter untuk menyaring data dari sumber data harus createtime>'2018-03-01 00:00:00'. Jika nilai bidang dalam format createtime>'2018-3-1 00:00:00', kesalahan dilaporkan.

Konfigurasi Sumber Data PolarDB for MySQL

• Anda dapat mengonfigurasi sumber data PolarDB for MySQL saat mengonfigurasi aplikasi baru.

• Jika Anda ingin mengonfigurasi sumber data PolarDB for MySQL untuk aplikasi yang sudah ada, Anda dapat pergi ke halaman detail aplikasi dan melakukan perubahan offline.

Prosedur dan Catatan Penggunaan

1. Di panel Pilih Sumber Data, pilih PolarDB dan klik Hubungkan ke Database.

2. Konfigurasikan parameter sumber data PolarDB for MySQL, dan klik Hubungkan.

Kemudian, OpenSearch mencoba terhubung ke sumber data dan mengembalikan pesan kesalahan jika koneksi gagal.

3. Setelah sumber data terhubung, pilih tabel. Gambar berikut menunjukkan halaman yang ditampilkan setelah koneksi berhasil. Setelah Anda memilih tabel, klik OK.

• Pilih atau masukkan nama tabel yang akan diakses. Nama bersifat case-sensitive.

• Anda dapat menggunakan tanda asterisk (*) untuk mencocokkan beberapa tabel dengan skema tabel yang sama dalam database. Nama tabel ini memiliki awalan yang sama. Sebagai contoh, Anda dapat memasukkan table_* untuk mencocokkan tabel seperti table_a dan table_b.

4. Setelah koneksi berhasil, konfigurasikan pemetaan bidang. OpenSearch secara otomatis menyinkronkan bidang sumber dari tabel. Untuk informasi lebih lanjut tentang plugin pemrosesan data, lihat Plugin Pemrosesan Data.

5. Tentukan kondisi filter untuk menyaring data sumber. Anda tidak dapat menentukan kondisi filter untuk aplikasi standar. Setelah Anda menyelesaikan konfigurasi di langkah Sumber Data, klik Kirim. Skema aplikasi dikonfigurasi.

• Anda dapat mengonfigurasi beberapa sumber data untuk tabel di OpenSearch, asalkan skema dan konfigurasi tabel sumber sama.

• Hanya entri data yang memenuhi kondisi filter yang dapat ditarik dari sumber data PolarDB for MySQL. Untuk informasi lebih lanjut, lihat Konfigurasikan Kondisi untuk Menyaring Bidang dalam Sumber Data ApsaraDB RDS dan PolarDB.