OpenSearch:Konfigurasikan sumber data PolarDB

Hal yang perlu diketahui sebelum membeli PolarDB

PolarDB adalah layanan database online siap pakai, stabil, andal, dan dapat diskalakan secara elastis yang ditawarkan oleh Alibaba Cloud (Pelajari tentang PolarDB).

• OpenSearch saat ini mendukung PolarDB for MySQL 5.6, 5.7, dan 8.0.

• Kluster PolarDB harus dimiliki oleh Akun Alibaba Cloud yang sedang login agar dapat diakses.

• Kluster PolarDB harus berada di wilayah yang sama dengan aplikasi OpenSearch Anda.

• Binary logging dinonaktifkan secara default setelah kluster PolarDB dibuat, sehingga menyebabkan pendaftaran sumber data gagal. Anda harus mengaktifkannya dengan mengatur loose_polar_log_bin—yang nilai default-nya OFF—menjadi ON_WITH_GTID. Parameter binlog_row_image memiliki nilai default FULL dan tidak perlu diubah.

• Pembuatan instans kloning didukung.

• Kluster PolarDB harus diatur sebagai read-write cluster.

Fitur yang didukung

• Mendukung penarikan data lengkap (manual/terjadwal) dari tabel database tertentu.

• Mendukung penggabungan horizontal data dari satu atau beberapa tabel sumber data. Tabel-tabel sumber ini harus memiliki struktur dan konfigurasi plug-in sumber data yang identik, serta nilai kunci primernya tidak boleh duplikat (nilai kunci primer yang duplikat akan ditimpa). Dua skenario berikut didukung:

  • Tabel aplikasi dikonfigurasi dengan satu sumber data yang berisi beberapa tabel sumber.

  • Tabel aplikasi dikonfigurasi dengan beberapa sumber data, dan setiap sumber data berisi satu atau lebih tabel sumber.

• Mendukung plug-in transformasi kolom sumber data.

• Metode sinkronisasi data yang didukung:

  • Sinkronisasi otomatis.

  • Yang dibeli sendiri adalah real-time synchronization DTS.

  • Tidak ada sinkronisasi otomatis.

• Mendukung kondisi filter (lengkap).

• Mendukung pencocokan nama tabel database menggunakan wildcard *.

Batasan terkait

• Hanya mode full dari binary logging yang didukung untuk kluster PolarDB. Aktifkan sebagai berikut: loose_polar_log_bin default-nya OFF dan harus diatur ke ON_WITH_GTID. binlog_row_image default-nya FULL dan tidak perlu diubah.

• Saat ini, hanya PolarDB for MySQL 5.6, 5.7, dan 8.0 yang didukung.

• Kluster PolarDB harus dimiliki oleh Akun Alibaba Cloud yang sedang login agar dapat diakses.

• Kluster PolarDB harus berada di wilayah yang sama dengan aplikasi OpenSearch Anda.

• Setelah aplikasi Edisi Standar dikonfigurasi dengan sumber data PolarDB, pendorongan data inkremental (melalui SDK/API) tidak didukung.

• Kondisi filter sumber data tidak didukung untuk sumber data PolarDB pada aplikasi Edisi Standar.

• Sintaks replace into tidak didukung.

• Perintah truncate dan drop tidak didukung. Gunakan perintah delete untuk menghapus data.

• Password akses PolarDB tidak boleh mengandung karakter %, karena hal ini menyebabkan tugas pengindeksan ulang gagal.

• Penggabungan kolom dari tabel sumber di database berbeda tidak didukung.

• Kami merekomendasikan mengatur loose_max_statement_time dan connect_timeout ke 0. Setelah pengindeksan ulang atau perubahan offline memicu sinkronisasi penuh, Anda dapat mengembalikannya ke nilai normal.

Catatan

• Jika sumber data (RDS/PolarDB) yang dipasang di belakang DRDS dihubungkan ke OpenSearch, Anda harus menentukan nama database fisik aktual di bawah DRDS saat mengonfigurasi sumber data (database di bawah DRDS dibagi menjadi satu shadow database dan 8 database fisik aktual, dan data yang ditulis dialokasikan secara acak ke database fisik tersebut).

• Kluster PolarDB mendukung pergantian antara domain jaringan internal dan publik. OpenSearch tidak membebankan biaya traffic apa pun untuk pengambilan data PolarDB.

• OpenSearch hanya mendukung penarikan data lengkap dari database utama. Berdasarkan tingkat kesibukan beban kerja Anda, kami merekomendasikan melakukan pengindeksan ulang untuk mengimpor data lengkap selama jam sepi.

• Untuk tipe waktu seperti datetime dan timestamp dalam tabel kluster PolarDB, sistem secara otomatis mengonversinya ke milidetik. Atur tipe kolom tabel aplikasi yang sesuai ke TIMESTAMP.

• Dokumen (lengkap) yang tidak memenuhi kondisi filter sumber data akan difilter. Selain itu, jika dokumen dengan nilai kunci primer yang sama sudah ada di tabel aplikasi yang sesuai, dokumen tersebut juga akan dihapus.

• Jika sisi sumber data tidak memiliki data inkremental dalam waktu lama (15 hari atau lebih), kemungkinan terjadi pengecualian sinkronisasi data. Jika hal ini terjadi, lakukan pengindeksan ulang secara manual untuk mengatasi masalah tersebut.

• Jika enkripsi sertifikat SSL diaktifkan untuk PolarDB, pastikan sertifikat belum kedaluwarsa. Sertifikat yang kedaluwarsa menyebabkan pengecualian koneksi, sehingga periode validitas sertifikat SSL harus diperbarui tepat waktu.

• Konfigurasi sumber data PolarDB tidak didukung di wilayah China (Qingdao).

• Saat menyinkronkan data sumber data PolarDB melalui OpenSearch, Anda harus menambahkan rentang alamat IP server OpenSearch ke pengaturan keamanan yang sesuai di PolarDB. Lihat daftar berikut untuk daftar izin alamat IP tiap wilayah:

  Wilayah	Alamat IP
  China (Hangzhou)	100.104.190.128/26,100.104.241.128/26
  China (Beijing)	100.104.16.192/26,100.104.179.0/26
  China (Shanghai)	100.104.37.0/26,100.104.46.0/26
  China (Shenzhen)	100.104.87.192/26,1100.104.132.192/26
  China (Zhangjiakou)	100.104.155.192/26,100.104.238.64/26
  Jerman	100.104.127.0/26,100.104.35.192/26
  AS	100.104.193.128/26,100.104.119.128/26
  Singapura	100.104.58.192/26,100.104.74.192/26

Permasalahan otorisasi akun

• Saat menghubungkan PolarDB, Anda harus memberikan akses ke kluster dan menyediakan akun beserta password-nya. Pilih akun dan password dengan cermat saat koneksi awal.

• [Pastikan izin akun] Akun harus memiliki izin untuk melihat semua tabel di database (batasan dari layanan DTS hulu), sehingga dapat menjalankan show create table *. Jika tidak, masalah dapat terjadi pada sinkronisasi layanan real-time.

• [Minimalkan perubahan izin akun] Perubahan akun mencegah tugas real-time saat ini mengonsumsi data secara normal, dan pembuatan versi baru juga terpengaruh. Jika Anda mengubah akun atau password, Anda harus menghapus instans dan menghubungkan ulang database.

Pertanyaan umum

• Jika pengindeksan ulang macet setelah Anda mengonfigurasi sumber data PolarDB, buat tabel uji di database tempat tabel data berada dan tulis atau perbarui 1 hingga 2 baris data per menit untuk memastikan log biner terus-menerus dihasilkan selama pengindeksan ulang.

• Jika kluster PolarDB aplikasi Edisi Profesional mengalami pembayaran tertunda tetapi kemudian diselesaikan, Anda dapat langsung memicu pengindeksan ulang manual.

• Password akses kluster PolarDB tidak boleh mengandung karakter %; jika tidak, tugas pengindeksan ulang akan gagal. (Pesan error: Illegal hex characters in escape (%) pattern).

• Sistem mensyaratkan bahwa nilai kunci primer di tabel aplikasi tidak boleh duplikat. Jika nilai kunci primer duplikat dalam skenario sharding, nilai tersebut akan ditimpa. Anda dapat menggunakan plug-in sumber data StringCatenateExtractor untuk menggabungkan beberapa nilai kolom. Atur kolom sumber ke pk,$table (ganti pk dengan kolom kunci primer tabel kluster PolarDB; $table adalah variabel sistem default yang merepresentasikan nama tabel database yang sesuai), dan atur karakter penggabungan ke - (dapat dikustomisasi).

Sebagai contoh, jika tabel kluster PolarDB adalah my_table_0 dan nilai kolom kunci primernya adalah 123456, maka nilai kunci primer baru setelah penggabungan adalah 123456-my_table_0.

• Untuk memfilter data berdasarkan tipe kolom date atau datetime di tabel database, dengan asumsi nama kolom database adalah createtime, format waktu dalam kondisi filter sumber data harus berupa createtime>'2018-03-01 00:00:00'. Penggunaan format seperti createtime>'2018-3-1 00:00:00' menyebabkan error.

Konfigurasikan sumber data PolarDB

• Konfigurasikan sumber data PolarDB selama proses pembuatan aplikasi.

• Untuk aplikasi yang telah dibuat, Anda dapat mengubahnya di halaman detail aplikasi melalui "Edit application structure".

Langkah-langkah konfigurasi Konsol dan catatan

1. Saat membuat atau mengubah aplikasi, pada langkah 3, Data Source, tambahkan atau edit sumber data, pilih Polardb Data Source, lalu klik Create Database.

2. Setelah Anda mengisi informasi sumber data PolarDB, klik Connect.

   Pada dialog Connect Database, informasi sumber data yang perlu Anda isi mencakup cluster ID, nama database (misalnya, opensearch), username, dan password.

Parameter	Deskripsi
Cluster ID	ID kluster PolarDB, yang dapat diperoleh dari Konsol PolarDB (case-sensitive). Lihat format berikut untuk ID kluster: pc-uf6c056ny9tiaj1l7.
Nama database	Nama database yang akan dihubungkan di bawah instans ini (tidak case-sensitive).
Username	Akun database, digunakan untuk mendapatkan skema tabel database dan data lengkap (case-sensitive).
Password	Password untuk akun tersebut.

OpenSearch mencoba melakukan koneksi dan memberikan prompt hasil berdasarkan situasi spesifik:

Pesan prompt	Solusi
Kluster PolarDB ini tidak ada di wilayah saat ini untuk pengguna saat ini	Periksa apakah cluster ID sudah benar dan pastikan wilayah kluster PolarDB sesuai dengan wilayah aplikasi OpenSearch. Jika kondisi terpenuhi tetapi error tetap muncul, kirim tiket untuk umpan balik.
Gagal menghubungkan ke layanan database	Periksa apakah string koneksi PolarDB sudah benar, termasuk cluster ID, nama database, username, dan password.
Tabel ini tidak ada di bawah kluster PolarDB saat ini	Periksa apakah nama tabel diisi dengan benar dan apakah tabel tersebut benar-benar ada di database PolarDB.
Ada masalah pada item konfigurasi kluster PolarDB	Buka halaman Parameter Configuration di Konsol PolarDB, ubah item konfigurasi yang sesuai, lalu coba lagi.

3. Setelah informasi sumber data PolarDB terhubung, pilih tabel data. Antarmuka dengan koneksi sumber data yang telah terbentuk ditampilkan di bawah ini. Pilih tabel yang sesuai lalu klik OK.

   Setelah memilih tabel target, klik tombol >> di tengah untuk memindahkannya ke panel Selected di sebelah kanan.

• Pilih atau masukkan nama tabel yang akan diakses di bawah database ini (case-sensitive).

• Aturan sharding table_* didukung, misalnya table_a, table_b, dan seterusnya.

4. Jika koneksi berhasil, lanjutkan ke konfigurasi kolom. OpenSearch secara otomatis mendapatkan kolom-kolom tabel. Untuk informasi tentang plug-in sumber data, lihat Data source plug-ins.

   Pada tabel pemetaan kolom, konfirmasi korespondensi antara kolom tabel OpenSearch dan kolom sumber POLARDB (misalnya, id dipetakan ke id, dan text dipetakan ke title). Untuk menambahkan plug-in sumber data, klik tombol + pada baris kolom yang sesuai. Setelah memastikan pemetaan sudah benar, klik OK.

5. Konfigurasikan kondisi filter sumber data PolarDB (tidak didukung di Edisi Standar). Setelah mengonfigurasi sumber data, klik Submit untuk menyelesaikan konfigurasi struktur aplikasi.

• Anda juga dapat mengonfigurasi beberapa sumber data dalam satu tabel aplikasi OpenSearch, tetapi pada akhirnya struktur dan konfigurasi tabel tersebut harus identik.

• Kondisi filter yang dikonfigurasi untuk sumber data PolarDB hanya dapat mengekstrak catatan yang memenuhi kondisi tersebut. Untuk konfigurasi detail, lihat Configure filter conditions.