OpenSearch:Konfigurasi sumber data PolarDB

PolarDB adalah layanan database cloud yang sepenuhnya dikelola dan berkinerja tinggi yang disediakan oleh Alibaba Cloud serta mendukung skalabilitas elastis. Untuk informasi selengkapnya, lihat Apa itu PolarDB.

Sebelum Anda membeli kluster PolarDB

• OpenSearch mendukung PolarDB for MySQL 5.6, 5.7, dan 8.0.

• Kluster PolarDB harus termasuk dalam Akun Alibaba Cloud Anda saat ini.

• Kluster PolarDB harus berada di wilayah yang sama dengan aplikasi OpenSearch.

• Pencatatan biner (binlog) dinonaktifkan secara default pada kluster PolarDB baru, sehingga menyebabkan pendaftaran sumber data gagal. Anda harus mengaktifkan binlog dengan mengatur parameter loose_polar_log_bin ke ON_WITH_GTID. Parameter binlog_row_image secara default bernilai FULL dan tidak perlu diubah.

• Instans klon didukung.

• Kluster PolarDB harus berupa kluster baca/tulis.

Fitur yang didukung

• Tarik data lengkap dari tabel database tertentu secara manual atau berdasarkan jadwal.

• Gabungkan data dari beberapa tabel sumber. Tabel-tabel sumber tersebut harus memiliki skema dan konfigurasi plugin sumber data yang sama. Nilai kunci utama harus unik—nilai duplikat menyebabkan data baru menimpa data yang sudah ada. Fitur ini mendukung skenario berikut:

  • Tabel aplikasi dikonfigurasi dengan satu sumber data dan mencakup beberapa tabel sumber.

  • Tabel aplikasi dikonfigurasi dengan beberapa sumber data, dan setiap sumber data berisi satu atau beberapa tabel sumber.

• Gunakan plugin sumber data untuk mengubah nilai bidang.

• Metode sinkronisasi data yang didukung:

  • Sinkronisasi otomatis

  • Pembelian mandiri DTS untuk sinkronisasi waktu nyata

  • Tidak ada sinkronisasi otomatis

• Tentukan kondisi filter untuk data lengkap.

• Gunakan karakter wildcard * untuk mencocokkan nama tabel database.

Batasan

• Mode binlog untuk kluster PolarDB harus diatur ke full. Atur parameter loose_polar_log_bin ke ON_WITH_GTID. Parameter binlog_row_image secara default bernilai FULL dan tidak perlu diubah.

• Hanya PolarDB for MySQL 5.6, 5.7, dan 8.0 yang didukung.

• Kluster PolarDB harus termasuk dalam Akun Alibaba Cloud yang sama yang Anda gunakan untuk mengakses Konsol OpenSearch.

• Kluster PolarDB harus berada di wilayah yang sama dengan aplikasi OpenSearch.

• Setelah Anda mengonfigurasi sumber data PolarDB untuk aplikasi Edisi Standar, Anda tidak dapat mendorong data inkremental menggunakan SDK atau API.

• Kondisi filter tidak didukung untuk sumber data PolarDB pada aplikasi Edisi Standar.

• Sintaks REPLACE INTO tidak didukung.

• Perintah TRUNCATE dan DROP tidak didukung. Gunakan perintah DELETE untuk menghapus data sebagai gantinya.

• Password akses untuk kluster PolarDB tidak boleh mengandung karakter %. Jika tidak, pengindeksan ulang akan gagal.

• Anda tidak dapat menggabungkan kolom dari tabel sumber yang memiliki skema berbeda.

• Anda dapat mengatur parameter loose_max_statement_time dan connect_timeout ke 0 selama pengindeksan ulang atau perubahan offline. Setelah sinkronisasi data lengkap selesai, Anda dapat mengembalikan nilai-nilai tersebut.

Catatan

• Jika sumber data seperti RDS atau PolarDB disambungkan ke instans DRDS, tentukan nama shard database aktual dalam instans DRDS saat mengonfigurasi sumber data. Database DRDS dibagi menjadi satu database bayangan dan delapan shard, serta data ditulis secara acak ke shard-shard tersebut.

• Anda dapat beralih antara titik akhir internal dan titik akhir publik kluster PolarDB. OpenSearch tidak membebankan biaya traffic untuk pengambilan data dari PolarDB.

• OpenSearch hanya menarik data lengkap dari database utama. Kami menyarankan Anda melakukan pengindeksan ulang dan impor data lengkap selama jam sepi.

• Sistem secara otomatis mengonversi nilai datetime dan timestamp dalam tabel PolarDB ke milidetik. Atur tipe bidang yang sesuai dalam skema aplikasi ke TIMESTAMP.

• Dokumen yang tidak memenuhi kondisi filter akan difilter selama sinkronisasi data lengkap. Jika dokumen dalam tabel aplikasi memiliki nilai kunci utama duplikat, dokumen tersebut juga akan dihapus.

• Jika tidak ada data inkremental yang dihasilkan dalam sumber data selama 15 hari atau lebih, sinkronisasi data mungkin menjadi tidak normal. Untuk mengatasi masalah ini, lakukan pengindeksan ulang manual atau perubahan offline.

• Jika enkripsi SSL diaktifkan untuk kluster PolarDB, pastikan sertifikat SSL masih berlaku. Sertifikat yang kedaluwarsa menyebabkan error koneksi. Perbarui sertifikat sebelum masa berlakunya habis.

• Sumber data PolarDB tidak tersedia di wilayah Qingdao.

• Untuk menyinkronkan data dari sumber data PolarDB, tambahkan Blok CIDR alamat IP server OpenSearch ke daftar putih instans PolarDB Anda. Tabel berikut mencantumkan alamat IP yang diperlukan untuk setiap wilayah.

  Wilayah	Alamat IP
  Hangzhou	100.104.190.128/26,100.104.241.128/26
  Beijing	100.104.16.192/26,100.104.179.0/26
  Shanghai	100.104.37.0/26,100.104.46.0/26
  Shenzhen	100.104.87.192/26,100.104.132.192/26
  Zhangjiakou	100.104.155.192/26,100.104.238.64/26
  Jerman	100.104.127.0/26,100.104.35.192/26
  Amerika Serikat	100.104.193.128/26,100.104.119.128/26
  Singapura	100.104.58.192/26,100.104.74.192/26

Otorisasi akun

• Untuk menyambungkan ke kluster PolarDB, Anda harus menyediakan akun dan password dengan izin akses yang diperlukan. Pilih akun dengan cermat untuk koneksi awal sumber data.

• Pastikan izin akun: Akun harus memiliki izin untuk mengkueri semua tabel dalam database sumber (diperlukan oleh layanan DTS hulu) dan untuk mengeksekusi perintah SHOW CREATE TABLE *.* dengan benar. Izin yang tidak mencukupi menyebabkan sinkronisasi real-time gagal.

• Minimalkan perubahan izin: Mengubah akun dapat mengganggu tugas real-time yang sedang berjalan dan memengaruhi pembuatan versi aplikasi baru. Jika Anda mengganti password akun, Anda harus menghapus instans dan menyambungkan kembali ke database.

FAQ

• Jika pengindeksan ulang macet setelah Anda mengonfigurasi sumber data PolarDB, buat tabel uji di database yang berisi tabel sumber, lalu tulis atau perbarui satu atau dua catatan setiap menit. Hal ini memastikan binlog terus dihasilkan selama pengindeksan ulang.

• Jika aplikasi Edisi Premium dengan sumber data PolarDB memiliki pembayaran tertunda, Anda dapat memicu pengindeksan ulang manual setelah melunasi saldo.

• Password akses untuk kluster PolarDB tidak boleh mengandung karakter %. Jika tidak, pengindeksan ulang akan gagal dengan pesan error: `Illegal hex characters in escape (%) pattern`.

• Nilai kunci utama dalam tabel aplikasi harus unik. Dengan sharding tabel, nilai kunci utama duplikat dapat menyebabkan data ditimpa. Untuk mencegah hal ini, gunakan plugin StringCatenateExtractor untuk menggabungkan beberapa bidang. Atur bidang sumber ke pk,$table, di mana `pk` adalah bidang kunci utama tabel PolarDB dan `$table` adalah variabel sistem yang merepresentasikan nama tabel (hanya tersedia ketika sharding tabel menggunakan karakter wildcard). Gunakan tanda hubung (-) atau karakter kustom sebagai pemisah.

Sebagai contoh, jika tabel PolarDB bernama my_table_0 dan nilai kunci utamanya adalah 123456, maka nilai kunci utama baru setelah penggabungan adalah 123456-my_table_0.

• Untuk memfilter data berdasarkan bidang date atau datetime, gunakan format yang benar dalam kondisi filter. Misalnya, jika nama bidangnya adalah `createtime`, kondisi filter harus berupa createtime>'2018-03-01 00:00:00'. Format seperti createtime>'2018-3-1 00:00:00' menyebabkan error.

Konfigurasi sumber data PolarDB

• Anda dapat mengonfigurasi sumber data PolarDB saat membuat aplikasi.

• Untuk aplikasi yang sudah ada, buka halaman produk dan lakukan perubahan offline untuk mengubah sumber data.

Prosedur di Konsol

1. Saat membuat atau mengubah aplikasi, buka langkah Data Source. Tambahkan atau edit sumber data, pilih PolarDB, lalu klik New Database.

2. Masukkan informasi sumber data PolarDB dan klik Connect.

OpenSearch akan mencoba menyambungkan dan menampilkan pesan berdasarkan hasilnya:

3. Setelah koneksi berhasil dibuat, pilih tabel dari daftar dan klik OK.

• Anda dapat memilih atau memasukkan nama tabel yang akan diakses. Nama bersifat case-sensitive.

• Aturan sharding tabel seperti table_* didukung. Misalnya, table_* cocok dengan tabel seperti table_a dan table_b.

4. Setelah koneksi berhasil, konfigurasikan bidang-bidangnya. OpenSearch secara otomatis mengambil bidang-bidang tabel. Untuk informasi selengkapnya tentang plugin sumber data, lihat dokumen ini.

5. Konfigurasikan kondisi filter untuk sumber data PolarDB (tidak didukung untuk aplikasi Edisi Standar). Setelah mengonfigurasi metode sinkronisasi data, klik Finish untuk menyelesaikan konfigurasi skema aplikasi.

• Anda dapat mengonfigurasi beberapa sumber data untuk satu tabel dalam aplikasi OpenSearch, tetapi skema tabel dan konfigurasinya harus identik.

• Jika muncul pesan bahwa sinkronisasi otomatis tidak didukung, gunakan DTS untuk sinkronisasi real-time.

• Kondisi filter hanya menarik catatan yang memenuhi kriteria yang ditentukan. Untuk informasi selengkapnya, lihat Kondisi filter untuk sumber data.